Sur une motte féodale antérieure, un château fort est construit au xiiie siècle, dont il reste deux tours rondes et quelques pans de murs. L'essentiel de la construction actuelle remonte aux xive et xve siècles ; elle comporte deux niveaux, plus un niveau de comble, ainsi que deux autres tours : une tour carrée à l'est et une tour hexagonale engagée dans la façade et occupée par un escalier à vis.
La chapelle – ou l'oratoire –, au premier étage de la tour est, a conservé une peinture murale du Jugement dernier, datant de la fin du xve siècle. Sur le mur faisant face à l'entrée, au-dessus de la seule petite baie éclairant la pièce, le Christ Juge est représenté de face, avec les mains levées. Sur le mur situé à sa droite, les élus, nus, marchent vers la Jérusalem céleste ; de ce côté, on peut voir aussi un groupe de saintes reconnaissables à leurs attributs. Du côté opposé, après le groupe des donateurs en adoration, accompagnés de saint Michel, c'est l'Enfer : les condamnés sont poussés par des diables vers une grande marmite.
On considère habituellement que la donatrice était Agnès de Montmorin, propriétaire du château jusque dans les années 1480. Anne Courtillé remarque que, à la suite du nettoyage et de la restauration des peintures vers 1990, certains détails apparaissent mieux et que le blason qu'on peut voir au tympan de la porte du Paradis, ainsi que sur les pavillons qui flottent au-dessus des toits de la forteresse, est celui des Bayard (D'azur au chevron d'or, accompagné de trois étoiles du même) ; elle pense donc que le commanditaire des peintures est Antoine Bayard (mort en 1506) ou son épouse. Selon elle, les vêtements que portent certains personnages correspondent bien à l'extrême fin du xve siècle et même au début du xvie siècle.
De la terrasse et des jardins qui faisaient le charme de Langlard à l'époque de l'abbé Bayard et de la marquise de Sévigné, il ne reste rien. Mais on en connaît la description par un acte notarié de 1724 et par un poème de Joseph Hennequin, homme politique et écrivain gannatois, dans La Terrasse de L'Anglar (1805). Déjà au début du xixe siècle, ces jardins étaient à l'abandon :
La terrasse partout s'écroule délabrée,
Du parc à l'abandon rien ne défend l'entrée.
Au xve siècle, Langlard appartient à la famille de Montmorin. Agnès de Montmorin, fille de Jacques, seigneur d'Auzon, chambellan des rois Charles VII et Louis XI et bailli de Saint-Pierre-le-Moûtier, le reçoit en dot à l'occasion de son mariage, vers 1540, avec Gilbert de Toucy-Bazerne, seigneur de Champroux. Les armes des Montmorin (De gueules, semé de molettes d'argent au lion du même brochant) figurent sur la clef de voûte de la grande salle voisine de l'oratoire.
Le château est vendu à Antoine Bayard, trésorier général des finances en Languedoc, Beaujolais, Lyonnais et Forez, puis en Roussillon et Cerdagne, qui en rend hommage le 30 août 1489. Le château reste dans cette famille jusque dans la deuxième moitié du xviie siècle.
L'épisode le plus connu de l'histoire du château de Langlard est la visite qu'y fit, le 13 juin 1667, la marquise de Sévigné, qui prenait les eaux à Vichy, à son ami l'abbé Jacques Bayard, seigneur de Langlard, abbé de Bellaigue, visite qu'elle raconte dans une lettre à sa fille. Elle y revint quelques années plus tard. L'abbé Bayard était aussi un ami de Madame de La Fayette.
Pendant la Révolution, Langlard reçut la visite d'Antoine Cariol, commissaire désigné par le directoire du district de Gannat pour veiller à l'application de la loi du 12 pluviôse an II (31 janvier 1794) sur la destruction des signes de féodalité. À la suite de cette visite, les quatre tours perdirent leurs combles et furent arasées à hauteur des murailles.