Le fonds du musée a été constitue avec les collection des ducs d'Aiguillon saisies au moment de la Révolution et développées au cours du XIXème siècle avec le produit de fouilles locales par les soins de la Société du musée en 1876. Les collections ont été enrichies par les dons des collectionneurs (Chaudordy, Félix Aunac, Sellier de Lample, Borck) et ceux de la Société des lettres, sciences et art d'Agen. La première partie du bâtiment présente des collections du Moyen Age et notamment des tentures, des pièces d'orfèvreries, des collections archéologiques grecques et celtes et des salles consacrées à la peinture française du XVIIIème siècle. La seconde partie du bâtiment présente la peinture du XIXème et de oeuvres du XXème siècle.