En 1286, Elisabeth de Vallat demande l'autorisation de fonder un couvent dans le lieu de Costejean ; cette fondation est confirmée en 1292. De l'édifice construit au 14e siècle, il subsiste la tour et les murs extérieurs qui conservent des vestiges d'archères et de latrines. Le prieuré est partiellement détruit pendant les guerres de Rreligion ; les bâtiments conventuels, avec la chapelle, sont reconstruits au début du 17e siècle. Un hangar et un logis sont ajoutés de part et d'autre de la tour à la fin du 19e siècle.