En 1539, Françoise d'Alençon, seigneur de La Flèche, fit construire le long du fossé nord de la ville un nouveau logis, le château neuf, sur les plans de l'architecte angevin Jean Delespine. On aménagea un grand parc au nord du fossé. Dans l'axe du château neuf, entouré de douves, un jardin régulier fut peut-être dessiné par Guillaume Lemoyne, jardinier de François Ier. Il était régulièrement partagé en parterres. Il est encore bordé à l'est par une motte : le Fort-Henri, prolongeait le logis au nord du fossé.
En 1603 Henri IV, qui avait hérité de la baronnie de La Flèche, offrit son château aux jésuites qui y aménagèrent un collège. Le projet fut tracé par Louis Métezeau, architecte du roi : plan d'ensemble, ailes des cours des classes (comprenant notamment la chapelle et l'aile de la salle des actes) et des pensionnaires. Interrompus par la faillite de l'entrepreneur, Le Féron de Longuemézières, les travaux furent repris en 1612 par l'architecte jésuite le frère Etienne Martellange. Celui-ci modifie notamment le plan de la chapelle : transept, crypte, clocher. Construite par les maîtres maçons saumurois Jean et Olivier Guibert, la voûte d'ogives de la chapelle fut achevée en 1622. L'aile orientale de la cour des classes fut construite par le maître maçon fléchois Guillaume Le Gué sur les plans de Martellange.
Le jardin régulier fut modifié par les jésuites qui installèrent une fontaine monumentale dans l'axe du château neuf et des parterres de broderie aux armes de Henri IV et Marie de Médicis. L'enclos du parc fut élevé entre 1619 et 1625, sous la direction de Guillaume Le Gué. Un logement de gardien fut élevé en 1617 puis surélevé en 1635 à l'angle nord-ouest de celui-ci. L'amphithéâtre de la salle des actes fut construit en 1634 par le maître charpentier fléchois Thomas Belesme. En 1635, le charpentier Gilles Robin construisit un moulin sur la partie ouest du fossé.
Vers 1653, furent élevés le portail royal (étudié) , la galerie méridionale ainsi que le pavillon Milquin : prolongeant le château neuf à l'est, ce dernier abritait notamment les cuisines des jésuites. En 1675, la bibliothèque fut transférée du château neuf dans une salle qui jouxte la salle des actes.
Après que les jésuites eurent été chassés du royaume en 1762, le collège fut dirigé par les oratoriens puis, à partir de 1776, par les doctrinaires : de cette période date la vocation militaire de l'établissement. Pendant la Révolution, l'école dont une grande partie du décor a été détruit, fut le siège de l'administration du district, puis de la municipalité. La chapelle abritait les réunions d'un club révolutionnaire. En, 1808, sur l'ordre de Napoléon, le Prytanée militaire français fut transféré à La Flèche où cette institution s'est maintenue jusqu'à aujourd'hui.
Au XVIIIe siècle, les bâtiments du collège furent plusieurs fois remaniés. Le clocher de la chapelle, dit la tour de pierre, fut surélevé en maçonnerie en 1729. En 1770, l'aile nord de la cour des pensionnaires fut doublée en profondeur. Entre 1772 et 1777, sous la direction de Coupart de la Touche, ingénieur de l'École militaire et Prosper Simon, architecte du collège, fut élevée l'infirmerie, hors de l'enceinte du collège, au sud de la rue qui borde celui-ci. Projetée dès 1773 sous la direction des mêmes, la reconstruction du château neuf (désigné par la suite comme l'hôtel de commandement) eut lieu en 1784 : seuls le sous-sol et le gros-oeuvre de l'édifice primitif furent sauvegardés. Cette construction s'inscrivait dans un programme plus large de remaniement de la cour des pères qui fut achevé en 1811 par la surélévation et la reprise des façades des ailes latérales.
Dans la seconde moitié du siècle, furent élevées dans le parc plusieurs gloriettes : les baronnes. En 1812, la bibliothèque fut déplacée dans la galerie haute. Le moulin fut démoli en 1815. En 1826, on transforma la fontaine du jardin avec le lavabo qui des jésuites qui se trouvait dans la salle précédant le réfectoire des pères. L'infirmerie fut prolongée vers l'est. En 1873 un quartier de cavalerie fut établi dans le collège, ce qui entraîna la construction d'un manège, d'écuries, de sellerie ainsi que de logements à l'ouest du parc. En 1888 et 1889, un gymnase et une salle d'armes furent élevés au nord des bâtiments du collège. En 1889, une carrière d'équitation fut aménagée au nord du parc. En 1898, un corps contenant les bains-douches fut construit à proximité de la salle d'armes.
A l'est du manège, une piscine fut construite en 1965, tandis que, dans les années 1970, fut élevé un bâtiment abritant le foyer des élèves dans le parc, au nord de la cour des pensionnaires.