Le musée a été créé par arrêté municipal en 1811 pour donner un structure administrative à des collections de monnaies, d'objets d'antiques et d'échantillons d'histoire naturelle. En 1835, le musée est installé dans les nouveaux locaux de l'Hôtel de Ville mais la section d'ornithologie doit laisser la place en 1868 aux nouvelles salles de peinture. En 1909, les collections municipales sont réunies avec celles de la Société d'histoire naturelle, qui prend en charge les frais de gestion des collections. En 1963, l'achat de l'hôtel particulier permet de déployer les collections. M. Poher, président du Sénat inaugure le musée dans ses nouveaux locaux .