Le musée a été fondé en 1877 par l'historien Arthur de la Borderie dans le châtelet puis transféré dans les tours du château caractéristique de l'architecture militaire du Moyen Âge. La collection est essentiellement constituée de fonds d'art décoratif collectés lors de la création du musée au XIXème siècle et d'éléments ayant trait à l'histoire de la ville de Vitré.