Le château de Sales, première demeure thorennaise de la famille de Sales, était situé à environ 200 mètres au-dessus du château de Thorens. C'est dans cette demeure que naquit saint François de Sales, le 21 août 1567.
Il y eut d'abord à cet endroit un ancien fort érigé en 1060, par ordre du comte Gérold de Genève qui le donna en investiture au seigneur Odon de Compey.
Confisqué aux terribles sires de Compey par le duc de Savoie (1479) - en raison des nombreux crimes, abus et exactions qu'ils commirent - le château connut plusieurs propriétaires avant d'échoir au seigneur de Sales.
Au printemps de 1630, le roi de France, Louis XIII envahit le duché de Savoie. Devant Annecy, l'armée royale, commandée par Gaspard III de Coligny (1584-1646), maréchal de Châtillon, se heurta à la résistance du baron Louis de Sales (1577-1654), capitaine-gouverneur de la ville et de sa garnison.
Ainsi, du 23 au 25 mai 1630, le baron de Sales, frère cadet de saint François, entrepris de résister à l'ost royal. Mais la garnison annécienne n'était pas de taille à lutter contre l'armée du roi de France. Louis capitula le troisième jour, en se rendant avec les honneurs de la guerre. Grâce à cette reddition, le baron de Sales permit à la fois d'éviter une issue sanglante de ce siège d'Annecy et d'épargner la vie de ses habitants.
Louis XIII et Richelieu considérèrent cette résistance comme un affront, il fut ordonné au maréchal de Châtillon de se rendre à Thorens afin de démanteler le château de Sales (1630)
En revanche, par gratitude envers Louis de Sales qui su préserver la vie des Anneciens, et en dédommagement de la destruction du château de Sales, le duc de Savoie, Victor-Amédée 1er, éleva le baron de Sales au titre de comte (1632).
Louis de Sales et sa famille s'installèrent ensuite au château de Thorens. C’est dans ce même château de Thorens, acquis par saint François de Sales pour le compte de sa famille, en 1602, que les descendants de Louis (la famille de Roussy de Sales) résident encore actuellement.
En 1672, trois des fils de Louis de Sales, construisirent une chapelle sur les ruines du château de Sales, précisément à l'emplacement de la chambre natale de leur oncle saint François. Cette chapelle fut restaurée par le comte François de Roussy de Sales (1860-1943). Il fit ajouter un caveau dans lequel ont été déposées les cendres de ses ancêtres, inhumés jadis dans l'église paroissiale de Thorens (chapelle saint Sébastien).
La chapelle de Sales est depuis lors la nécropole de la famille de Roussy de Sales. Le dernier comte de Thorens, Jean-François de Roussy de Sales (1928-1999), petit-fils du comte François, repose désormais dans cette chapelle auprès de ses ancêtres. Le site est classé depuis 1982. Le décor de la chapelle est principalement constitué d’un retable baroque daté de 1677, restauré au XIXème siècle.
Dans la chapelle de l’ancien château de Sales saint François eut la vision de Dieu lui demandant de créer l’ordre de la Visitation. La croix de pierre du XIXème siècle située en face de l'actuelle chapelle de Sales indique ce lieu précis.