Der Kahle Pön liegt im Nordostteil des Rothaargebirges. Sein Gipfel erhebt sich im Naturpark Sauerland-Rothaargebirge etwa 200 m südöstlich der Grenze von Westfalen zu Nordhessen, welche der Nahtlinie von Sauerland und Upland entspricht. Er liegt 1,3 km nordnordöstlich des westfälischen Titmaringhausen (zu Medebach). Jenseits und damit nördlich der Grenze befindet sich der Naturpark Diemelsee mit dem hessischen Usseln (zu Willingen). Der westliche Nachbarberg heißt Auf'm Knoll, der östliche Kalied.
Rund 850 m (Luftlinie) nordwestlich vom Gipfel des Kahlen Pön entspringt die Diemel und auf der Ostflanke des Bergs, die in die Nordflanke der Kalied übergeht, liegt der Ursprung der Neerdar.