Le Château d'Auberville-la-Manuel date des XVe et XVIe siècles.
Il est bâti au milieu d'un vaste enclos rectangulaire cantonné de tours. On y découvre tous les éléments de l’architecture locale : pans de bois à grille, à croix de saint André, portails en maçonnerie, silex en appareil en damier, décor de brique émaillée et traditionnel colombier circulaire. Il est accessible par trois porches monumentaux, dont celui de Venesville et de Saint-Michel. Ce dernier, le plus grand, constitue un bel exemple du style Henri IV-Louis XIII.
L'édifice possède des tourelles et en outre une prison, signe du pouvoir judiciaire de la famille qui l'a fait construire.
Pendant la Seconde Guerre Mondiale, le lieu est réquisitionné par le Généralmajor Rommel avant son offensive sur Saint-Valery-en-Caux en juin 1940.