Le musée est installé dans la maison des Joséphites, construite en 1661 par le prince Armand de Bourbon Conti, seigneur de L'Isle-Adam, pour abriter une communauté de prêtres de l'ordre lyonnais de St Joseph, chargés de l'enseignement gratuit des enfants de la paroisse.
