La construction de la préfecture entre 1864 et 1868 s'inscrit dans un vaste projet de modernisation du centre ville. Le choix de l'architecte se porte d'abord sur Charles Rohault de Fleury, qui a notamment réalisé les serres du Muséum National d'Histoire Naturelle à Paris. Cependant, un changement de préfet entraîne la désignation d'un autre architecte, Alphonse Durand, assisté par Antoine-Gaëtan Guérinot, qui par la suite construira l'hôtel de ville entre 1869 et 1875.
La composition du bâtiment reprend le schéma général des nouveaux hôtels de préfecture du Second Empire, avec un corps central allongé, orné de deux avant-corps. L'emploi alterné de briques et de pierres de taille anime les façades de style néo Louis XIII. L'éclectisme est à l'honneur : frontons triangulaires, colonnes encadrant la porte centrale, mascarons, aigles impériales ...
Ce partis pris se retrouve dans le jardin à l'anglaise, situé à l'arrière de l'édifice, et dont les travaux de terrassement commencent en 1865.
Une influence parisienne : L'arrivée du train en 1851 va constituer le point de départ d'un vaste programme d'urbanisation de la ville, qui souhaite alors se départir de son image médiévale désuète. C'est dans ce contexte qu'interviennent la construction de la préfecture puis celle d'un nouvel hôtel de ville. En 1864, le percement de la rue Victor-Hugo permet de relier ces deux édifices majeurs. Les architectes souhaitent ainsi mettre en scène les principaux monuments publics et doter le centre-ville de larges avenues, en référence aux travaux menés à la même époque à Paris par le baron Haussmann.