Situé hors de la clôture du parc du château, ce rendez-vous de chasse a été construit pour Talleyrand par l'architecte Jacques-Charles Bonnard, entre 1809 et 1813. La grille provient de l'ambassade de Pologne à Paris. L'architecture de ce rendez-vous relève du style rustique à l'italienne.
Sa première destination a été de servir de lieu de distraction principalement aux Princes d’Espagne pendant leur exil à Valençay. Ils pouvaient ainsi, sans sortir de leur prison dorée, s’adonner à la chasse aux lapins avec des furets dans des garennes aménagées à cet effet.
Par la suite, la Duchesse de Dino, nièce de Talleyrand, utilisa le Pavillon pour des festivités et des réceptions. C’est ainsi qu’elle reçut avec éclat, en 1834, le jeune Duc d’Orléans, fils aîné de Louis-Philippe. Après le décès du Prince en 1838, le pavillon est ramené à sa première destination : un rendez-vous de chasse et ce jusqu’au début du XXème siècle.