La règle de sainte Thérèse d'Avila prévoyait que les religieuses pussent se recueillir dans l'isolement grâce à des oratoires placés dans la nature. Afin de se conformer à ces recommandations, les Carmélites arrivées à Bourges en 1617 construisirent, dans leur enclos, trois ermitages. Le premier se situait au chevet de l'église, le deuxième près des jardins de l'Hôtel-Dieu, le dernier - et seul conservé - près des murs de la ville, au nord de l'enclos. Il fut bâti en 1625 grâce à un don fait en 1620 par madame de Marillac.