A l'origine, les Carmes est un ancien monastère fondé en 1273 et achevé en 1284 par le futur Duc de Bretagne, Jean, pour héberger des moines ramenés de Terre Sainte.
En 1564, ce bâtiment hébergea le Roi Charles IX. Les Huguenots l'ont détruit en partie en 1593. Reconstruit en 1622, les Révolutionnaires en prendront possession pour le transformer en hôpital militaire. Les Carmes seront ensuite rachetés par le Diocèse, et occupés jusqu'en 1904, date de la confiscation des édifices religieux par l'Etat.
Durant la 1ère Guerre Mondiale, le lieu sert de casernement pour les 63ème et 64ème batteries du 102ème Régiment d'Artillerie Lourde. De profonds désaccords surgissent en 1921 entre Préfecture et Ploërmelais (dont le maire), lorsqu'il y est décidé l'installation de la Gendarmerie. Elle y restera jusqu'en 1988.
D'autres services au plublic suivront : la cour du Cloître abrite désormais la médiathèque, et dans d'autres bâtiments se trouvent PMI, CPAM, mission locale, etc., depuis peu une Maison des services au public dans la Maison Patier (à gauche) qui a été entièrement rénovée.