Fondé en 1819 par le maître de forge Caumartin le musée fût considérablement enrichi dix plus tard grâce à l'acquisition de la collection du peintre Carbillet. En 1866, sous l'implusion de Jules Chevrier les collections archéologiques régionales recueillies depuis 1844 par la Société d'Histoire et d'Archéologie furent jointes au fond primitif. Le musée abrita aussi pendant un temps les collections photographiques de l'inventeur Niepce avant le création du musée Nicephore Niepce. En 1905 le musée s'agrandit considérablement et pris le nom de Vivant Denon premier directeur du musée du Louvre , né à Chalon en 1747.