Le musée est installé dans l' hôtel construit (1477-1483) par le cardinal Guillaume d'Estouteville pour servir de résidence aux grands vicaires de l'archevêque de Rouen. Il fût acqui par M. Camille Tavet pour y installer un musée qu'il commença d'aménager et qu' il légua à la ville avec ses collections. Désorganisé après la première guerre mondiale et presque abandonné, il fut réinstallé en 1984.