De nombreuses caves anciennes parsèment Roberval, et, en raison de la configuration du terrain (sous-sol humide, coteaux nombreux) elles se trouvent souvent situées à l’écart des maisons. L’une d’entre elles a été creusée au bord du chemin des Carrieuses, mais il en existe d’autres chemin de Fosse, chemin d’Harcelay, route de Guidon… Elles suivent toutes le même modèle.
Deux caves de Fosse présentent des caractéristiques que l’on retrouve ailleurs dans Roberval. Contiguës, elles sont dépourvues de cage d’escalier et voûtées en berceau, aucune construction ne les surmonte comme le prouve la présence d’aération au-dessus des voûtes.
La première cave, d’une hauteur de 2,20 m sous voûte, est totalement bâtie en opus quadratum (pierres taillées), façade, piédroits, mur de fond et voûte. Le module des voussoirs passe de 12 à 28 cm de large de haut en bas. Les pierres du mur du fond mesurent toutes 28 cm de haut. Une niche perce le mur droit à 80 cm du sol, ses dimensions, exactement semblables aux pierres qui l’entourent, permettent peut-être d’y voir une cache. Une cheminée d’aération perce l’axe de la voûte, au fond de la cave. L’accès à la cave se fait par une ouverture voûtée et 3 marches.
La façade semble plus récente. En pierres de tailles, elle présente un bandeau, une ouverture à cintre surbaissé à 3 claveaux et deux sommiers et une petite baie placée à gauche de l’entrée.
Il est difficile de dater ces caves, mais l’utilisation de la voûte en berceau et la présence de marques de tacherons font penser à des édifices romans.
L’usage de ces caves à l’écart des habitations est obscur : caves à vin ?