Le baron Jullien, intendant de la Généralité d'Alençon, fit construire le "Dépôt de mendicité", surnommé "Bicêtre".
C’est en 1828 qu’Anne-Marie Javouhey, horrifiée par le spectacle qui lui est montré (à cette époque le dépôt accueille aussi bien les insensés, que les vagabonds et les détenus, ainsi que les enfants insubordonnés...).
Elle décide de rester avec quelques sœurs. Faisant preuve d’un dévouement et d’une gentillesse sans égal, les religieuses réussissent à calmer les malades, à les habiller et à rétablir l’ordre dans la maison. Durant 143 années, les religieuses de la congrégation St Joseph de Cluny ont organisé la vie interne de l’établissement.
Les sœurs se consacrent avec le même dévouement au fonctionnement de la pharmacie, de la cuisine, de la lingerie et de la buanderie.
La Congrégation St Joseph de Cluny a été présente de 1828 à 1971.
La chapelle, achevée en 1781, située au centre de l'établissement initial, est dédiée à Saint-Antoine de Padoue sans doute pour honorer le baron Jullien prénommé Antoine.
En forme de rotonde, elle rappelle le Panthéon de Rome.
Elle est portée par huit colonnes surmontées d'un dôme, et éclairée de huit croisées.
Dans les bas-côtés circulaires, donnaient quatre ouvroirs d'où l'on apercevait l'autel, supposé situé au centre.
Le monument inscrit à l'inventaire supplémentaire des Monuments Historiques.