Le premier musée est fondé en 1842 par la Société historique et archéologique avec des collections de vestiges archéologiques, des tableaux et des objets d'art. Le legs en 1923 de l'Hôtel de Breuil de Saint-Germain à la Société permet d'ouvrir la deuxième partie du musée.