Le musée se trouve dans l'enceinte de la citadelle construite par Vauban (1682) . Ce bâtiment a été construit sur ordre de Louvois pour abriter le casernement des cadets du Roi. Il sert de parados central entre les deux murs d'enceinte est et ouest.