Le musée est inauguré en 1869 grâce à un legs en espèce effectué en 1866 par Mme L. A. Perrot permettant la création d'un musée et d'une école de dessin à l'Hôtel de Ville. Le musée est transféré en 1894 dans l'ancien couvent des Bénédictines, agrandi en 1906 et enrichi de dons et d'acquisitions puis réorganisé de 1958 à 1968. Fermé dans les années 1990 pour cause de vétusté, iI est installé définitivement dans une aile de l'Hôtel-Dieu le 29 juillet 2000.