Fondé en 1864 à l'initiative de la Société des Amis des Arts, en accord avec la municipalité, installé dans l'ancien palais de Justice, il ne comprenait que quelques peintures. Il s'enrichit bientôt de trente tableaux importants provenant de la collection La Caze (léguée au Louvre en 1869) et d'acquisitions faites à l'aide d'un revenu annuel laissé par E. Noulibos. Transféré en 1881 dans l'ancien asile, sur l'emplacement duquel on construisit l'édifice actuel en 1929 (M. Ruillier, architecte). Inauguré en 1931, il fut fermé en 1942 puis entièrement réorganisé et rouvert en 1953.