Il y a 1 000 ans, Pavilly avait deux châteaux. Celui disparu se dressait place d'Esneval. Il fut détruit pendant la guerre de cent ans.
Le second chateau demeura jusqu'au XIVème siècle, où il fut alors gravement endommagé, durant la guerre de Cent Ans .
Robert Dreux fit alors construire au XVème siècle (à un emplacement senisblement différent croit-on) et profondément remodelé au XVIIIème par l'ajout notamment de deux ailes de chaque côté d'un corps de logis en pierre de taille et de quatre tourelles.
De même, la chapelle du château dédiée à Thomas Becket, archevêque de Canterbury, canonisé par le pape en 1173, a été reconstruite. Cette chapelle renferme le gisant de Thomas de Pavilly datant du XIIIème siècle.
En haut des marches du perron, de chaque côté de celui-ci se trouve deux remarquables sphinx. Ils représentent une tête de femme sur un corps de lionne au repos.
A l'entrée du château, chaque pilier est surmonté d'un griffon en pierre. Cet animal doté d'un corps de lion, d'une tête et des ailes d'aigle, porte pour l'un les armoiries de la famille d'Esneval et l'autre celles de Pavilly.
Les actuels propriétaires du château l'ont fait restaurer et ont transformé certaines des dépendances en maison d'habitation.
Le château fait l'objet d'un classement au titre des monuments historiques depuis 1970.
La Chapelle se visite lors de la "journée du patrimoine". Le château ne se visite pas. Il fait l'objet d'un classement au titre des monuments historiques depuis 1970.
Le podium est fait!! 