Zakladatel ani nejstarší osudy hradu Kámen nejsou známy. Původní gotický hrad byl založen v polovině 13. století a nazván po pozoruhodném skalisku, na němž byl vystavěn. První bezpečná zmínka o hradu je v pramenech až z roku 1316, kdy se připomíná Nimír z Kámene. Krátce nato vlastnil hrad Bušek Tluksa, který jej roku 1327 přijal od krále Jana Lucemburského v manství. Po Buškově smrti držel hrad jeho syn Přibík Tluksa spolu se svými bratry. Od nich jej koupil v roce 1356 Jindřich z Ciglheimu, který rozšířil panství přikoupením několika dalších vsí a pokusil se dolovat v okolí zlato. Když se Jindřich vzdal svého manství na Kámeni, uvázali se v jeho zboží opět původní držitelé Tluksové. Patřili k té části drobné šlechty, která za velkého zápasu o moc v předhusitských Čechách stála věrně na straně krále Václava a podporovala jej v boji proti odbojnému panstvu. Jan Tluksa zemřel na samém počátku husitského revolučního hnutí, ale jeho blízký příbuzný Přibík Tluksa bojoval v husitských řadách velmi horlivě. Za něho měl hrad Kámen důležitou úlohu jako husitský opěrný bod mezi Táborem a Pelhřimovem.
Roku 1437 Janův syn Hynek prodal hrad i s podhradím, dvory a poddanskými vesnicemi Purkartu Kamarétovi z Žirovnice. Kamarét byl v dobách vnitřních zápasů o vládu v zemi věrným stoupencem Jiříka z Poděbrad a dal hrad k dispozici ke schůzce pozdějšího českého krále s jedním z vůdců manské jednoty Jindřichem z Rožmberka dne 4. srpna 1450. Roku 1456 Purkart prodal Kámen s celým panstvím bratřím Trčkům z Lípy, jimž v té době patřilo město a panství pelhřimovské. Noví majitelé však hrad již v roce 1460 prodali Janu Sádlovi ze Smilkova. Součástí kámenského zboží byla v tu dobu na městečko povýšená ves Kámen v podhradí, poddanské vsi Eš, Důl, Vysoká Lhota a Dobrá Voda. Po Sádlově smrti v roce 1464 se ujal hradu Kámen jeho švagr Petr Břekovec z Ostromeče a Kozího Hřbetu, od něhož hrad koupil v roce 1468 Oldřich Fifka z Vydří. Ten byl mimo jiné obviněn Janem Malovcem z Pacova, že si pomáhá k penězům falšováním. Před soudem se sice Fifka obhájil, ale jak se téměř po čtyřech stech letech ukázalo, nařčení nebylo bezdůvodné. Jeho syn Albert prodal kámenské zboží roku 1479 Janovi z Vojslavic. Roku 1499 zdědil hrad jeho nejstarší syn Markvart a v roce 1504 byl hrad propuštěn králem Vladislavem z manství. Markvartův syn Petr z Vojslavic panství rozdělil – jednu polovinu prodal Janu Zručskému z Chřenovic. Druhá polovina hradu přešla později na Petrovu sestru Kateřinu.
Kateřina z Vojslavic byla podruhé provdána za Petra Malovce z Malovic a roku 1523 mu zapsala všechen svůj majetek. Malovec koupí druhé poloviny kámenského zboží spojil obě části opět v jeden celek. V polovině 16. století tak dosáhlo panství Kámen největšího rozsahu – k hradu patřilo městečko a deset poddanských vsí. Po Petrovi zdědili otcovské statky jeho tři synové, kteří si je roku 1557 rozdělili. Kámen s poplužním dvorem, městečko Kámen, ves Eš a část Vysoké Lhoty připadly Malovcovi. Za něho nebo za jeho synů Petra a Václava byl hrad rozšiřován a přistavěno jeho severní křídlo s obytnými místnostmi a trakt na jižní straně.
Z maloveckých držitelů se do historie Kámene nejvýrazněji zapsal Jan Kryštof, který nastoupil v držení hradu po roce 1640. Za něho byl hrad znovu přestavován, vystavěno jižní obytné křídlo a nad bývalým schodištěm postavena věž (1673). Na okraji městečka dal vystavět barokní kapli a v ní zřídil rodinnou hrobku. Jeho nejstarší syn Jan Kryštof Malovec prodal na začátku 18. století hrad Kámen Františku Kreslovi z Qualtenburka. Nový majitel se zadlužil tak, že nakonec musel roku 1747 hrad opět prodat.
Od té doby se začali jeho držitelé často střídat a hrad ztrácel na svém významu. Převážně úřednická rakouská šlechta neměla dostatek prostředků na jeho údržbu a stavba chátrala. Pouze jeden z posledních majitelů, svobodný pán Václav Enis z Atteru, se pustil v 2. polovině 19. století do větších stavebních úprav, jimiž však hradu ještě více ublížil, když romantickou snahou o regotizaci znehodnotil staré partie hradu.
Od konce 19. století šlechtické majitele vystřídali příslušníci bohaté buržoasie, jimž hrad patřil až do poválečných let. Po roce 1948 byl hrad poslednímu soukromému majiteli Antonínu Fleissigovi konfiskován. Státním kulturním majetkem byl prohlášen dne 13. ledna 1953.
Vzhledem k tomu, že hrad byl v havarijním stavu, bylo postupně přikročeno k jeho celkové opravě (která však nebyla také zrovna zdařilá) a jednáno o jeho dalším využití pro kulturně výchovné účely. Po rekonstrukci hlavních objektů a vybudování nových expozic byl hrad opět otevřen pro veřejnost dne 22. června 1974 jako muzeum jednostopých motorových vozidel. V letech 1964 až 2002 byl hrad Kámen zřizován ONV, později Okresním úřadem v Pelhřimově. Od 1. 1. 2003 byl hrad Kámen samostatnou příspěvkovou organizací Kraje Vysočina a od roku 2011 se hrad Kámen stal pobočkou Muzea Vysočiny Pelhřimov, p.o.
http://www.hradkamen.cz/historie.html