En 1098, le prévôt Gausbert de Castelnau reçoit en fief des chanoines de la cathédrale une tour située près de l'église Notre-Dame des Soubirous, qui pourrait être celle qui subsiste aujourd'hui. Les caractères techniques des maçonneries découvertes, parementées de moellons bruts, sont en effet en faveur d'une construction bien antérieure au 13e siècle, et que l'on peut donc proposer de dater de la 2e moitié du 11e siècle. Cette hypothèse est confortée par la convergence des informations portées par le cadastre de 1540 concernant la parcelle étudiée et par l'acte d'investiture du prévôt Gausbert de Castelnau en 1098. Tous deux mentionnent en effet l'attachement d'un four au bien qu'ils décrivent. Ce four, qui semble avoir disparu aujourd'hui, est vraisemblablement celui qui a donné son nom à l'actuelle impasse du Four. Un autre indice réside dans le fait que la tour mentionnée en 1098 voisinait l'église Notre-Dame-des-Soubirous et que les vestiges rencontrés ne sont distants que de quelques mètres de ceux de cette église en grande partie détruite aujourd'hui.
La datation du milieu du 13e siècle, obtenue sur le plafond du rez-de-chaussée par dendrochronologie (date d'abattage estimée entre 1229 et 1258), devrait donc être considérée comme celle d'une campagne de réparation.