Le musée est installé dans une partie de l'ancien hôtel Dieu du XVIIe siècle. La chapelle est agrémentée d'une fresque de Ravault.