Les premiers éléments de la collection ont été rassemblés après la première guerre mondiale par le maire et historien Th. Walter. Quelques donations privées s'y ajoutèrent. La première présentation fut faite dans la salle d'honneur de la mairie avec une mise en veilleuse pendant la seconde guerre mondiale. L'idée de création d'un musée fut reprise avec la constitution de la Société d'histoire et d'archéologie du canton de Rouffach en 1948. De nouveaux éléments furent rassemblés, notamment à l'occasion de fouilles et de sondages réalisés dans le secteur.