Le demi-frère de Guillaume le Conquérant, Odon de Carville construit ce château aux environs de 1090. A cette époque, le château était battu par les mouvements de la mer. Il se trouvait dans l'emprise maritime. À la fin du 13e siècle, Geoffroy de Montbray est le seigneur du château. Celui-ci reste la propriété de la famille de Montbray jusqu'en 1462 date à laquelle Christophe de Cerisay l'achète. En 1698, le château devient la propriété de la famille d'Argouges. La dernière occupante noble du château de la Rivière est la princesse de Montmorency-Luxembourg, baronne du Hommet la Rivière qu'elle quitte en 1818.
Le château a été gravement endommagé en 1944, dans les combats qui ont suivi le débarquement. Depuis lors, le château a connu moult propriétaires et est devenu un temps un centre naturiste.
Depuis quelques années, le château abandonné abrite de nombreux nids de Cigognes.
