Joseph Baeck perd son père dans un accident du travail lorsqu'il a 4 ans. Quatre ans plus tard, il perd sa mère et est élevé par une tante. À dix, il devient coursier et plus tard apprenti tourneur dans une usine à Halle. Il adhère à la Centrale des Métallurgistes de Belgique (1886) et devient membre du comité exécutif (1894) de la Fédération nationale des Métallurgistes, jusqu'à devenir président de la Centrale des Métallurgistes de Belgique (1911).
En 1899, il devient membre du Bureau de la Commission Syndicale de Belgique du parti ouvrier belge et en 1905 secrétaire provincial permanent de la Fédération des Métallurgistes du Brabant. Baeck favorisa la fusion des différents syndicats du métier jusqu'à ce qu'en 1914 il n'en reste plus que deux: le Syndicat des metallurgistes et l' Union des travailleurs du bronze.
En politique, il siégea au comité fédéral de la fédération du POB de Bruxelles, au bureau du conseil général (1914) et à la Centrale de l'Éducation des Travailleurs (1914). Baeck fut élu conseiller communal socialiste (1889-1931) et échevin de Molenbeek-Saint-Jean (1908-1919 et 1927-1931) et sénateur de l'arrondissement de Bruxelles (1925 à 1931).