Maison comportant une salle de Justice, construite au milieu du 12e siècle, avant 1155, probablement pour Pons de Graulhet, peut-être viguier des vicomtes de Saint-Antonin ; elle perd sa fonction judiciaire lorsqu'elle est achetée par les consuls en 1312 et devient maison consulaire. L'escalier extérieur placé sur l'arrière est remplacé sans doute avant le 18e siècle par un escalier hors-oeuvre ; les colonnettes de bronze, probablement contemporaines de la construction, ont disparu l'une en 1622, l'autre pendant la Révolution.
La halle est détruite, l'escalier hors-oeuvre à volées droites est remplacé par un escalier en vis, et un couronnement inspiré de l'architecture militaire est ajouté à la tour lors de la restauration de l'édifice réalisée par Eugène Viollet-le-Duc entre 1845 et 1851, avec comme inspecteurs les architectes François Martin Lebrun puis Théodore Olivier.