Situé sur un replat, à, proximité de l'église, le château de Germiny remonte au XIIe siècle avec notamment les vestiges du donjon carré en partie visible à l'arrière de l'édifice encore en élévation. Avec ses 16,5 m de côté, des murs épais de 4 m et une hauteur de plusieurs dizaine de mètres, il était composé de quatre salles superposées, vaste de 40 m².
Au XIIIe siècle, le donjon fut entouré d'une enceinte à cinq tours rondes, avec un logis pour le seigneur et des loges pour les paysans de Germiny. Cet ensemble, constituant le château d'en-haut, fut modifié au cours siècles suivants avec notamment l'adaptation à l'artillerie au XIVe et XVe siècle. Les seigneurs de l'époque, les Haraucourt, le conservèrent jusqu'au XVIIe siècle.
Avec la Guerre de Trente Ans et le siège de la forteresse par les Suédois, le châtelain et ses hommes d'armes ne purent empêcher la prise du château, qui perdit une bonne partie de ses courtines et trois de ses tours. Entre les deux subsistantes, le logis du seigneur fut transformé en une confortable résidence de campagne.
A la fin du XVIIe et au XVIIIe siècle, ce qui restait du château fut occupé par la famille Le Bégue, dont plusieurs membres étaient au service des ducs de Lorraine.
Abandonné au début du XIXe siècle, le château d'en-haut fut vendu, vers 1830, à plusieurs propriétaires qui modifièrent la partie centrale en créant divers logements en habitation.
Aujourd'hui encore, la partie coincée entre les deux tours restantes, sert de logement à plusieurs familles. La tour située à la droite du logis central est utilisée par la mairie.