Après la révocation de l'Edit de Nantes, dans un contexte de reconquête catholique en terre protestante, une annexe de l'abbaye, attenante au mur nord de l'église, est affectée par Louis XIV aux religieuses de l'Union chrétienne appelées "dames de la Foi", pour y établir une école charitable du Saint-Enfant-Jésus. D'abord 2 au moment de la fondation, elles sont 3 en 1791, qui apprennent aux jeunes filles à lire et écrire, ainsi que les devoirs de la religion.
Le bâtiment est remanié (ou reconstruit ?) à la fin du 17e siècle, particulièrement la façade ouest qui conserve encore 3 travées ordonnancées, selon le rythme caractéristique fenêtre/demi-fenêtre/fenêtre. Vendu à la Révolution comme bien national, le bâtiment, provisoirement affecté dans les années 1940 à un établissement d'enseignement, appartient aujourd'hui à l'évêché. Converti en immeuble de rapport, il abrite plusieurs logements ; l'intérieur a été entièrement remanié.