Le nom de Ballans semble venir d'un nom de propriétaire de l'époque romaine, le domaine de Ballantius.
Le premier château daterait vraisemblablement des années 1670-1680 avec l'arrivée dans la région de la famille Lhuillier, propriétaire de l'époque pendant un peu moins d'un siècle.
Le domaine des Ballans possédait de nombreuses dépendances : Les Laquais, le Chambroie, le Maine Quérant et peut être les Gentils à une époque. Cependant le château actuel de style Napoléon III est plus récent que ses dépendances ce qui laisse à penser qu'il fut détruit puis reconstruit par la famille Ganivet-Desgraviers sur l'emplacement même de l'ancien château de 1873 à 1876.
Derrière le porche surmonté d'un plan carré, anciennement tour défensive, on trouve une cours entourée d'anciennes servitudes (étable, écuries, atelier, pavillon de chasse, porcherie, grange et cave) dont certaines ont été aménagées en habitation.