Cet édifice reste une des rares tours résidences qui caractérisaient le paysage urbain de Pernes à l'époque médiévale. La sophistication de la modénature des ouvertures primitives, la qualité de l'appareil en pierre de taille et de sa mise en oeuvre ainsi que la distribution intérieure confèrent à la tour un caractère résidentiel d'apparat. Son histoire remonte au début du 14ème siècle où elle est acquise par la communauté des habitants pour loger la maison de ville. A partir du 16ème siècle, elle est utilisée comme moulin à huile et sert, en partie, de salle du conseil jusqu'en 1619.