Fondé en 1848 à partir du cabinet d'histoire naturelle et de curiosités de Jean-Baptiste d'Allard, naturaliste amateur passionné, le musée est l'un des plus anciens du département de la Loire. A partir de la fin du XIXe siècle, le musée intègre progressivement un fonds beaux-art puis s'oriente dès l'après-guerre vers le thème des poupées. En 1967, une collection de poupées du monde entre au musée à la suite du don de la famille Martel. Le musée d'Allard prend alors partiellement le nom de Musée de la poupée. Radicalement modernisé à partir des années 1970-1980, il retrouve progressivement un équilibre thématique à la fin des années 1990. En 2005, une importante acquisition de jeux et jouets de la marque Gégé permet au musée d'aborder l'histoire de cette célèbre entreprise du bassin montbrisonnais.