Situé dans l'ancien couvent des Ursulines, le musée occupe toutes les salles sur deux niveaux autour d'une cour pavée. Ce bâtiment date des XVIIe et XVIIIe siècles et fait partie des couvents francs-comtois fondés par Anne de Xaitonge.