Les plus anciennes collections du musée ont été réunies par l'Académie ambulante du bois de la Chaise au début du XIXe siècle. Principalement dédiés à l'étude des sciences et de la poésie, ses quatre membres ont laissé derrière eux cette volonté d'enrichir la connaissance sur l'île de Noirmoutier. En 1884, un premier musée ouvre au sein de l'Hôtel de Ville. Sous l'impulsion du maire de l'époque, Edouard Richer, le musée avait pour ambition de devenir une petite encyclopédie locale orientée vers les sciences naturelles. En 1901, le château est racheté par la ville de Noirmoutier-en-l'Ile et, petit à petit, il est transformé en musée. En 1934, des notables de Noirmoutier soucieux de préserver la mémoire du passé et le patrimoine de l'île, fondent l'association Les Amis de l'Ile de Noirmoutier et gère le musée. Après-guerre, l'association étoffe les collections et les acquisitions sont orientées vers les arts décoratifs (les faïences anglaises de Jersey), les beaux-arts (Florimond Palvadeau, Jean Vincent-Darasse...), l'histoire et l'archéologie. En 1959, le musée est inscrit sur la liste des musées contrôlés par l'Etat. Il faut attendre l'année 1970 pour que le musée ait un conservateur agréé. Pierre Chaigneau, Conservateur du Musée des Sables d'Olonne, exerce alors la responsabilité scientifique des collections du musée de Noirmoutier-en-l'Ile. La gestion du musée passe de l'association à la commune et s'ouvre vers la création contemporaine dans les années 1990 avec des expositions temporaires consacrés à Richard Texier, Victor Vasarely, Christo, René Sourzac... Aujourd'hui, le musée prend toujours place dans le donjon. Aux niveaux inférieurs, le parcours présente l'histoire de l'île et du château, tandis que les niveaux supérieurs sont consacrés à une exposition thématique renouvelée chaque année, permettant de découvrir la diversité des collections.