Le musée a ouvert ses portes en 1860 dans l'ancien hôpital des Charitains, à partir des collections réunies par l'érudit J-B Bouillet. Il est transféré en 1903 dans le bâtiment actuel, construit à l'aide d'un legs de J-B Bargoin.