Le nom d’origine de Milhars (qui fut également nommée Milliares, Millars Au 13ème siècle et Milhacio au 15ème siècle) est «Miliacum». Il correspond au nom d’une borne milliaire d’une route gallo-romaine qui faisait communiquer l’Albigeois avec le Quercy et le Rouergue. Les bornes milliaires étaient disposées le long des voies romaines et indiquaient chaque mille (environ 1,5 km) les distances entre les différentes villes de l'Empire.
On retrouve diverses traces d'une vie humaine sur l'implantation de l'actuelle commune à l'époque dite de la "pierre polie", soit de 5000 à 2500 ans avant J.-C. Deux vestiges de constructions Mégalithiques encore visibles de nos jours témoignent de cette présence :
- le Dolmen du Roc de la Vierge dont 586 pièces diverses ont été retrouvées aux alentours et qui a sa pierre plate fendue en deux parties
- le Dolmen de Grézelles dont une vingtaine de pièces ont été récupérées autour du site
Un camp romain devait même se trouver sur le plateau tout en haut du vieux village, derrière le château, lieu à l'altitude élevée et qui constituait une position stratégique idéale pour la surveillance de la vallée du Cérou et de son confluent avec l'Aveyron. Des restes de poteries mises à jour lors de labours témoignent de leur présence sur les bords de l’Aveyron.
A la chute de l'Empire Romain, comme dans toute la région, le lieu fut traversé et occupé, tour à tour, par les Vandales (peuple Germanique), les Wisigoths (branche des Goths dans la région Danubienne), les Francs et les Sarrazins.
Milhars sera d' abord rattaché aux Comtes de Toulouse puis retournera à la Couronne de France sous Saint-Louis en 1258.
Durant la guerre de Cent Ans, au début de 1351, différents seigneurs en seront les gérants : Géraud De Casauban, Ratier De Castelnau De Vaux, Raymond De Castelnau De Vaux, Arnaud IV Berail, Géraud Berail et Jean Berail.
Cette place forte servira à défendre la vallée du Cérou, voie de passage naturelle en bordure de l'impénétrable forêt de Grésigne.
De 1550 à 1625, durant les guerres de religion, Milhars sera partagé entre deux zones d'influence : celle de Cordes, tenue par les Papistes, et celle de Saint-Antonin sous influence des Huguenots (protestants).
Le village connaîtra pendant cette période une alternance de combats, de démolitions, de pillages et de reconstructions. En 1574, on considère que Milhars est ruiné. La Paix ne reviendra qu'en 1625.
Durant deux siècles de 1450 à 1683, la famille Cazillac sera propriétaire du château avec les titres successifs de Seigneur, de Baron, puis de Marquis de Milhars.
Jusqu’à la révolution, plusieurs familles en obtiendront la jouissance. Un lac artificiel existait même près du château issu d’un captage des eaux de la source du Bonnan par le biais d’une canalisation en terre cuite. Il fut ensuite remplacé par des vignes, et aujourd’hui par des cultures de céréales.
Aux alentours de 1690, Milhars deviendra un marquisat prospère. Le château trouve sa forme actuelle en 1630 suite à sa reconstruction par un Maître maçon de Toulouse, ainsi que l’atteste une inscription gravée sur la pierre avec les instruments du métier : le marteau, l’équerre et le compas.
Le grand colombier du château est construit sur la rive droite du Cérou.
En 1790, au cours de l’époque révolutionnaire, Milhars est Chef lieu de Canton. Le 6 juillet 1794, le dernier Marquis de Milhars, Clément Jean Augustin de Saint Gery est exécuté à Paris. C'est l'un des derniers à connaître les affres de la terreur, période qui prit fin le 27 juillet 1794.
Le château est devenu par la suite une maison communale où fonctionnaient la mairie et l'école publique.
La construction de l'immeuble abritant de nos jours la Mairie et l'Ecole Publique, situé sur la place des marronniers, fut réalisée grâce à la vente du château à un négociant albigeois, Monsieur Roumigière.
Plusieurs évènements marquent l’époque contemporaine : En 1864, la voie ferrée reliant Paris par Capdenac vient d'être terminée et le premier train à vapeur y circule. En 1914, le village compte 1000 habitants mais la population sera gravement touchée par la Première Guerre mondiale.
Plusieurs propriétaires se sont succédé à la possession du château : en 1920 l'écrivain Charles Géniaux, en 1948 le peintre belge Albert Lemaitre et depuis 1975 Mme Lamborelle, élève et légataire du peintre.