Pierre de Raffin, issu d'une famille originaire du Rouergue alliée à l'aristocratie locale, est le premier seigneur de Perricard connu, au début du 15e siècle. Dans l'Agenais en reconstruction, les Raffin, également établis à Puycalvary et Hauterive, deviennent une des familles les plus influentes. De la maison forte originelle subsiste une tour carrée, percée d'une archère et d'une fenêtre à remplage flamboyant (comparable à celle de la chapelle du château Lamothe à Tournon). L'ancien repaire est agrandi durant la 1ère moitié du 16e siècle, peut-être pour Armand de Perricard et Jeanne de Latour, selon Gilles Séraphin, d'après l'ornementation Renaissance caractéristique d'ateliers cadurciens. Leur petit-fils Antoine achève en 1565 cette vaste campagne de travaux, comme paraît l'attester une inscription relevée par G. Tholin et Ph. Lauzun, disparue depuis ; la maîtresse-tour qui présente des analogies avec le décor du château de Fumel (bandeau à bossage vermiculé) , est notamment imputable à ce chantier. Une inscription témoigne du réaménagement de la chapelle pour Anne de Besoles, veuve de Philippe de Raffin, au début du 17e siècle ; en 1667 l'évêque Claude Joly décrit l'oratoire voûté et carrelé, avec des galeries au-dessus et sur le côté.
Le château passe ensuite entre les mains d'une dizaine de familles jusqu'au début du 19e siècle, sans subir toutefois de modifications importantes. Avec l'acquisition du domaine en 1837 par François Laffargue, le château à la tête d'une exploitation agricole est désormais divisée entre 2 propriétaires : l'aménagement de l'escalier extérieur date sans doute de cette époque, alors que l'aile est, agrandie, est convertie en grange-étable en 1861. L'aile ouest, en partie ruinée, est dotée d'une nouvelle façade durant la 2e moitié du 19e siècle.