Absent des grandes séries de textes sur l'Agenais de la seconde moitié du 13e siècle, le "cassel" de Puycalvary est mentionné pour la 1ère fois en 1288, dans un acte de partage entre les frères Palazols : à Guillaume revient la "tor", divisée en "doas cambras autas et bassas", à Raymond-Guillaume la "sala". Le texte réglemente précisément les rapports de mitoyenneté et prévoit l'édification d'un mur isolant les lots. S'ils s'interdisent mutuellement de percer des "traucs" et des "buscades", chacun peut à sa guise "obrar le mur velh", c'est-à-dire l'enceinte commune. Ce bloc tour-salle correspond au type de résidence seigneuriale répandu au 13e siècle dans le Sud-Ouest, tenu en coseigneurie. Du bâtiment originel subsiste une tour quadrangulaire tronquée, attenante à un corps moins élevé, séparés du plateau par un profond fossé. Le document de 1288 révèle l'existence d'une petite agglomération castrale, puisqu'il mentionne une "rueta communal", ainsi que plusieurs "maios et mainals", et "la maio en que e el escola" ("establa"?). Le château moderne, reconstruit au début du 16e siècle pour le sénéchal d'Agenais Antoine de Raffin, a vraisemblablement occupé la totalité de l'espace de l'ancienne basse-cour, et rejeté les maisons villageoises au-delà de l'enceinte, sur les pentes du versant sud du "pech" ; c'est en tout cas dans ce secteur, au pied de l'enceinte, que la chapelle castrale fut édifiée. Personnage de premier plan en Agenais, Antoine de Raffin entreprend un vaste projet de reconstruction, tout en laissant subsister l'ancienne maison forte. Le nouveau château comporte 3 ailes organisées sur une cour intérieure carrée ; l'aile sud, ouvrant côté cour par des arcades à arêtes vives, paraît légèrement postérieure, peut-être contemporaine de François de Raffin, également sénéchal, décédé en 1572. Les modifications apportées au château durant le 17e siècle sont minimes : une échauguette est simplement greffée à l'aile ouest afin de mieux défendre l'entrée, et une loggia est adossée à l'aile est, peut-être pour la famille de Guiscard pour qui Puycalvary est érigé en comté en 1696. Seul le percement de la porte sur la terrasse sud, précédée d'un escalier, appartient clairement à des travaux du milieu du 18e siècle. Des réaménagements intérieurs ont été aussi effectués à cette époque, notamment le décor en bois de l'oratoire dans la tour nord-ouest. Des écuries adossées au plateau à l'ouest, dont ne subsistent que le départ des voûtes d'arêtes et des colonnes, auraient été édifiées en 1744, selon De Cousseau de Beaufort. Durant la Révolution, la sculpture du fronton de la tour d'escalier ainsi que celle de quelques fenêtres sont bûchées. Le domaine est vendu en 1815 à Pierre Souilhagon de Bruet, ancien conseiller référendaire au Parlement de Bordeaux et membre du collège électoral du Lot-et-Garonne. C'est probablement pour lui que le portail d'accès extérieur a été édifié. Le cadastre de 1830 montre des bâtiments adossés à l'aile sud, vraisemblablement des communs, dont ne subsistent plus que des fours et un puits isolé au milieu de la terrasse. L'ensemble a été restauré durant le 4e quart du 20e siècle.