Description historique
C'est à proximité d'une digue construite sur le Lot à la fin du 13e siècle, dite de Lamothe-Dessous, qu'une maison forte fut implantée vraisemblablement pour la famille de Pélissier, bourgeois de Penne et seigneurs péagers, mentionnés dans l'enquête de 1311 sur les usurpations commises au détriment du domaine royal. Des vestiges de cette résidence du début du 14e siècle paraissent subsister dans les parties basses du logis. La seigneurie de Ferrassou, détenue au 15e siècle par la famille de Laduguie, est vendue en 1476 à Jean de Podio Extremo (de Pechextrême) , avec "l'ostal e tor apelat de Ferrasso". De cette époque date vraisemblablement la reconstruction du corps de logis. La seigneurie passe dans les années 1490 entre les mains d'Antoine de Lustrac, pour qui la tour d'escalier hors-oeuvre fut vraisemblablement édifiée, à la fin du 15e ou au début du 16e siècle. Des traces de reprises dans la maçonnerie révèlent que le logis fut agrandi d'un nouveau corps adossé à l'escalier du côté sud, sans doute peu de temps après sa construction, d'après les traces de fenêtres encore visibles. La tour sur l'angle nord-est, datable par son décor Renaissance des années 1530-1540, fut peut-être élevée à l'occasion du prestigieux mariage en 1544 de Marguerite de Lustrac avec le Maréchal de Saint-André, selon Gilles Séraphin. Après l'acquisition en 1608 du château par Pierre de Masparrault, issu d'une riche famille de magistrats bordelais, d'importants travaux d'agrandissements sont effectués : le corps de logis est doublé en profondeur et une aile en retour est construite au nord, comportant notamment un corps d'entrée, des galeries superposées et une chapelle (visitée par l'évêque Claude Joly en 1668) ; une tourelle dominant le Lot porterait la date 1658 (non localisée). Durant la Révolution, la maîtresse-tour fut dérasée. Le domaine est acquis par Blaise de Lapeyrière en 1812, qui fait démolir vers 1818 l'aile nord et effectuer d'importants travaux de restauration et de décoration, donnant au château ses dispositions actuelles ; l'imposte en ferronnerie de la porte d'entrée daté 1820, marque l'achèvement du chantier.