Nicolas Perrenot de Granvelle, 1er Ministre de Charles Quint pour les pays de langue française, a fait construire à Besançon cet hôtel particulier. Le bâtiment, vite qualifié de palais, est situé au coeur de la ville. Il est l'oeuvre d'un architecte encore non identifié. L'hypothèse la plus solide indique qu'il s'agirait d'un Espagnol, formé par les soins de Granvelle pour son usage : Van Oyen. (Le palais de Granvelle : 1534-1540).