Le fonds initial du musée a été constitué par le mécène et collectionneur Aignan-Thomas Desfriches (1715-1800) et par le peintre Jean Bardin (1732-1809), fondateur de l'école de dessin. Ils ont rassemblé les oeuvres d'art saisies dans les établissements religieux lors de la Révolution française. Au fil du temps, dons, legs et dépôts de l'Etat ont permis d'enrichir les collections du musée.