Etabli au milieu du 9e siècle sur un site d'origine mésolithique, le château date pour ses parties les plus anciennes des 10e et 11e siècles, du temps des comtes ingelgériens (dont Foulque Nerra) : les élévations ouest et est de la salle comtale remontent à cette période. Parmi les réaménagements dus à Henri II Plantagenêt, après 1132, subsistent des vestiges de la collégiale Saint-Laud, ainsi que la porte de la salle et l'arcature ornant le mur ouest. Vers 1230-1240, le château est pourvu sous Louis IX de sa grande enceinte. Autour de 1370, Louis Ier d'Anjou fait construire le logis du sénéchal, largement arasé en 1592, modernise la grande salle, fenêtres et cheminée, travaux réalisés sous la direction de son maître des uvres, Macé Darne. Le logis royal et la chapelle Saint-Jean-Baptiste sont commandités par Louis II vers 1400-1412. Entre 1435 et 1453, René d'Anjou, dont le maître des oeuvres est Guillaume Robin, double le logis royal d'une galerie dont l'escalier porte sur la voûte sa devise en dieu en soi. Le châtelet est édifié vers 1450. Ses autres réalisations ont disparu. Entre 1591 et 1593, les défenses sont réaménagées par les architectes Dagobert Guillot, Robert Chalemel et Guillaume Briffault sur ordre du capitaine Donadieu de Puycharic : arasement des tours, création de plates-formes d'artillerie, l'une portant la date 159 (?) , et de canonnières dans les tours. Le logis du gouverneur, dont l'escalier date du 4e quart du 15e siècle, est très remanié dans la 1ère moitié du 18e siècle. Au 19e et dans la 1ère moitié du 20e siècle, l'armée construit prisons, arsenaux et ateliers dans les cours et jardins. Le château est restauré après 1945 par l'architecte Bernard Vitry qui ajoute une galerie pour présenter la tapisserie de l'Apocalypse.