La collection de Silguy (peintures, dessins, et gravures, France et écoles européennes XIVe - XIXe siècles) a été léguée au musée en 1864. De 1872 à 1814, une collection de peintures d'inspiration bretonne est constituée. A partir de 1949 le fonds Max Jacob et la collection de l'Ecole de Pont-Aven sont mis en place.