Le château de Silleron est implanté, fin du XVIe siècle ou au début du XVIIe, dans un enclos rectangulaire. Le logis, avec ses façades de briques et ses travées de fenêtres étroites soulignées de chaînes de grès, est un bon exemple de style Louis XIII cauchois.
Au cours du XVIIe siècle sont successivement construits à la suite du logis : un grand corps central (1617) , une chapelle (1640-1643) puis l'aile orientale, toujours en brique et pierre. De la même époque datent les éléments du mur d'enceinte, notamment les deux portes monumentales et des bâtiments agricoles. En 1912 l'aile ouest est construite sur le modèle de l'aile orientale.
Le château est représentatif d'une résidence de famille de la noblesse d'épée de l'Ancien Régime avec ses éléments architecturaux représentatifs, notamment la chapelle, l'enclos et les portes fortifiées.