Le château de Semur est composé d’un corps central ( sous Louis XI entre 1460 et 1470) prolongé au nord par un donjon carré, et de deux ailes.
Il est entouré de fossés secs dont il ne faut pas oublier la grosse tour, sans doute aussi ancienne que la partie centrale.
Le charme intérieur et extérieur de cette propriété est dû au goût exquis qu’avait Béatrix de Vibraye, marquise de Reverseaux, qui avait racheté le château aux descendants du duc d'Aumont. Son vœu était que le Comte et la Comtesse Henri de Vibraye puissent y résider toute l’année, ce qui est bien le cas aujourd’hui.