Le musée est créé en 1850 et installé à la Porte du Croux par la Société nivernaise des lettres, sciences et des arts.