Le 28ème groupe géographique tient ses origines et sa tradition de l’ancien Service géographique de l’armée (SGA) qui, avant 1940, avait la responsabilité entière de l’établissement des cartes. Le SGA pourvoyait à tous les besoins cartographiques tant civils que militaires de la France et de l’Union française
À l’armistice du 1er juillet 1940, dans le but de soustraire des effectifs militaires à l’armée d’armistice, le Service géographique de l’armée est supprimé et remplacé par l’Institut géographique national (IGN), organisme civil rattaché au ministère des travaux publics.
Dès 1943, pour répondre aux besoins de reconquête de la France, des compagnies de géographes militaires sont recréées par remilitarisation sur place des détachements de l’IGN en Afrique du Nord. Il s'agit des 31e et 32e compagnies géographiques.
Après la guerre, quelques unités géographiques militaires furent créées pour les besoins spécifiques des armées. C’est ainsi qu’est créé le 16 mai 1946, au fort de Montrouge en région parisienne, le Groupe géographique autonome. Réorganisé en 1947 et 1948, le Groupe géographique autonome prend position dans ses quartiers de Joigny à partir de 1949, et prend l’appellation de Groupe géographique en 1950. Suite aux différentes réorganisations des armées, il prendra successivement les noms de Régiment géographique en 1972, de Batterie géographique en 1976, à nouveau de Groupe géographique en 1979 et enfin de 28e groupe géographique en 1999. En 2010 après 61 ans passés à Joigny, il est transféré en Alsace à Haguenau, dans le camp d’Oberhoffen.
Le 28e groupe géographique a reçu la garde de l'étendard du 28e régiment d'artillerie en 1966, et a été officiellement nommé héritier des traditions du 28e RA en 1976.