Die Burghalde war ursprünglich ein römisches Kastell.
Ein Rest der altrömischen Ummauerung ist in der Burgstraße noch zu erkennen. Im Mittelalter hatte der stiftische Vogt seinen Sitz auf der Burghalde, die zu ständigen Streitereien zwischen dem Fürststift Kempten und der freien Reichstadt Kempten Anlass gab.
Im Jahr 1363 erstürmten und zerstörten die Bürger der Reichsstadt den Sitz des Vogtes. Später erfolgte der Verkauf an die Reichsstadt. Im Jahr 1705 wurde die Festung auf Befehl des Kaisers zerstört. Zwei Jahre zuvor war sie im Rahmen des spanischen Erbfolgekrieges von den Franzoschen besetzt worden. Heute ist der gotische Burgturm von 1488 erhalten.
Auf der Freilichtbühne Burghalde finden im Sommer Konzerte, Feste und Openair-Kino statt.
Am Cache ist auch ein Burgmuseum, daß nur Samstags von 10:00 - 16:00 geöffnet hat.