Glede na letnico »1000«, ki je bila vklesana na vhodnem grajskem portalu, naj bi dal prvo utrdbo na tem mestu pozidati mož svete Eme, Viljem I., tedaj krajišnik Savinjske krajine. Sicer je bil grad prvič pisno omenjen leta 1295, ko ga je kot »castrum Sausenberc in marchia Sclauica« od Heinzelina pl.Lupoglavskega (von Mahrenfels) kupil goriški grof Albert I.. Leta 1374, po izumrtju istrske veje rodbine goriških grofov, je grad prešel v last Celjskih. Ko je Ulrik II. Celjski leta 1456 umrl brez dedičev, je z njim izumrl tudi rod Celjskih grofov. Po dedni pogodbi med Celjskimi in Habsburžani so si slednji pridobili vse premoženje prvih. Med ostalim tako tudi žužemberški grad. Leta 1538 pa ga je cesar Ferdinand kot deželnoknežjo posest prodal rodbini Auerspergov (Turjačanom). Kupila sta ga brata Wolf Engelbert in Jurij. V 16. stoletju so zgradili obrambne stolpe in mogočni bastiji. Leta 1559 je grad za kratek čas zavzel nezakonski sin Jurija Turjaškega, Gregor. S svojo vojsko je bil v bližini Herbart Turjaški, ki je grad pridobil nazaj, z napadalci pa kruto obračunal, saj so jih vrgli čez obzidje, nato pa so trupla odnesli v gozd zverem. Leta 1575 je na grajskem dvorišču udomačena medvedka ubila ženo Ivana Turjaškega, Ano von Eck. V spomin na tragični dogodek so sredi dvorišča zasadili lipo, ki je vztrajala 424 let (leta 1999 so jo posekali).
Knez Janez Vajkard I. Turjaški, ki je bil svétnik in prvi minister v Habsburški monarhiji (tudi vzgojitelj cesarja Ferdinanda III., je leta 1699 ustanovil neprodajno dedno posestvo (primogeniturni fidejkomis). Žužemberški grad je bil v lasti Auerspergov do 2. svetovne vojne. V gradu je bilo tudi okrajno sodišče in zapori. Ko se je sodišče leta 1893 umaknilo iz gradu, je ta počasi začel propadati. Med drugo svetovno vojno je bila v njem nastanjena italijanska garnizija, po italijanski kapitulaciji pa so ga za kratek čas zavzeli partizani. Leta 1944 se je v gradu nastanila domobranska posadka, zaradi česar so ga leta 1945 zavezniška letala raketirala in ostal je le še skelet zidovja.
Postopna obnova gradu se je začela v 1960.-ih, od leta 1996 pa v poletnem času v njem potekajo t.i. »srednjeveški dnevi« in druge kulturne prireditve.
Vir: http://sl.wikipedia.org/wiki/Grad_%C5%BDu%C5%BEemberk