Comme l'a écrit Pierre Dubourg-Noves, on est réduit aux légendes invérifiables sur l'origine de ce qui fut la plus puissante abbaye de l'Agenais : sa fondation daterait du milieu du 8e siècle, d'après un diplôme de Pépin le Bref dont l'authenticité est contestée. Même sa titulature (Saint-Pierre-et-Saint-Paul ou Saint-Pierre-ès-Liens ?) est incertaine. Quoi qu'il en soit, le catalogue des abbés ne débute qu'avec un dénommé Constance, en 1068. Outre l'église abbatiale, dans l'état actuel des bâtiments conventuels et sans étude plus poussée sur le bâti, le mur de l'aile sud côté cloître paraît le plus ancien, peut-être du 12e siècle, avec de multiples ravaudages. Les caves également médiévales, datent probablement du 13e siècle, et la tour sud-ouest du 14e ou du début du 15e siècle. Au 16e siècle, Clairac est un des foyers les plus précoces de la Réforme, notamment sous l'abbatiat de l'humaniste Gérard Roussel (1533-1552). Suite aux destructions du début des guerres de Religion, et après la donation de l'abbaye au chapitre Saint-Jean-de-Latran par Henri IV en 1604, l'abbé Paul Garganti est chargé du rétablissement des bâtiments et du temporel : de cette époque et de quelques restaurations successives datent les dispositions actuelles, telles qu'elles figurent dans un rapport des années 1780 et dans un état détaillé de 1799, avant la vente comme bien national. Réquisitionnés pour héberger une école navale de guerre en 1940, les locaux sont ensuite affectés à un établissement scolaire jusqu'en 1981. L'abbaye restaurée abrite aujourd'hui un musée privé, consacré à l'évocation de la vie monastique par des automates.