O tom, ze tvrz na tomto miste skutecne stala, svedci kus stareho zdiva na jednom miste ve sklepe zamku, ktere bylo odborniky odhadnuto na 13. stoleti.
Po Bavorovi se jako majitele vystridali jeho synove, pozdeji ruzni majitele, celkem 32 nam znamych drzitelu panstvi.

Na verejnosti vystupovalo i nekolik znamych osob ze Stekne. Roku 1376 to byl kazatel v Betlemske kapli Jan ze Stekne, profesor teologie na univerzite prazske a v Polsku v Krakove, o nemz svedci Mistr Hus, ze „byl kazatel vytecny jako truba valecna“. Dale z duchovniho jsou znami Mikulas, Pavel a Benes ze Stekne a kanovnici Konrad a Jakub ze Stekne.

Nejdelsim drzitelem panstvi byl rod Kavku z Rican, kteri tu sidlili do roku 1412 do 1610 – tedy temer 200 let. Nejznamejsi z nich byl pan Heralt starsi Kavka z Rican (1520 – 1563).

Roku 1612 koupila panstvi Anna Malovcova z Ujezda. Jeji syn Jan Malovec z Malovic se zucastnil povstani ceskych panu proti cisari Ferdinandovi II., panstvi mu bylo zkonfiskovano a odevzdano mestu Ceske Budejovice za vernost cisari. Roku 1622 bylo panstvi budejovickym odnato a predano Ferdinandovi Rudolfovi Lazanskemu jako zastava za pujcene penize. Ten odprodal panstvi roku 1623 Jirimu Mitrovskemu z Nemysle a ten dale Jakubu Khyslovi, hrabeti z Hottschee. Po jedenactiletem drzeni hrabe stekenske panstvi prodal r. 1636 Janu Antoninovi, knizeti z Eggenburka, ktery je roku 1648 postoupil cisari vymenou za jina panstvi.

Cisar Ferdinand III. panstvi daroval Janu Antoninovi Losimu z Losimthalu jako odmenu za financni pomoc, kterou mu poskytl ve valce se Svedy.
Za to, ze se roku 1648 vyznamenal pri vpadu Svedu a oblezeni Prahy jako velitel slechticke „freikompanie“, obdrzel slechticky titul „hrabe“ a do znaku mu byl pridan stit mesta Prahy, tj. ozubena vez, pred niz se tyci obrnene rame s mecem.

Jan Antonin Losi z Losimthalu dal r. 1665 zamek hrube prestavet v ranne baroknim slohu s lodziemi.

Roku 1668 znovu zridil kostel sv. Mikulase, ktery zanikl za tricetilete valky. Zamek nad vchodem ozdobil svym kamennym znakem, v jehoz stredu se vypina cisarska iniciala Ferdinanda III.
Po jeho smrti r. 1682 zdedil majetek starsi syn Jan Baptista a kdyz po roce zemrel, ujal se panstvi mladsi syn – velky milovnik hudby – Jan Antonin Losi, ktery dal nektere mistnosti vyzdobit stropnimi freskami a na klenbe salu dal vymalovat svuj znak sdruzeny se znakem sve druhe manzelky Claudie Strassoldo.
Jeho syn Adam Filip zde vladl od roku 1721 do roku 1780.

Losimthalove zde celkem sidlili 133 let.

Manzelka posledniho z nich Arnostka hrabenka Fuksova z Bimbachu postoupila sve statky Josefu Mikulasi, knizeti z Windisch-Graetzu, ktery r. 1784 zamek po pozaru castecne prestavel, upravil v josefinskem slohu a nad kamennym znakem hrabete Losiho v hornim pruceli budovy nad vchodem dal zasadit svuj kovovy rodinny znak. Zemrel roku 1802 ve Stekni a byl pochovan v Tachove.

Panstvi pripadlo jeho synu Alfredu Kandidovi, ktery hral dulezitou ulohu v tehdejsich politickych udalostech rakouske monarchie; byl si toho vedom a podle toho take vystupoval. Od cisare obdrzel rad zlateho rouna a stal se nejvyssim pol marsalkem. Podepisoval se vzdy „My, knize z Windisch-Graetzu“. A kdyz mu zemsky soud v Praze zakazal uzivat pluralis majestatibus, sluvka „My“, pod pokutou 20 dolaru, poslal marsal pokutu, ale na listinu pripsal: „My, knize z Windischgraetzu, zasilame nam ulozenou pokutu a budeme se podepisovat i nadale: My, knize z Windischgraetzu.“ (Listina se naleza ve stekenskem archivu.)

Kdyz se r. 1837 vracel z carskych manevru u Voznesenska v Rusku, dala mu jeho manzelka knezna Marie Eleonora vchodem do zamku vystavet viteznou slavobranu oznacenou jeho erbem.

Jemu bylo svereno vrchni veleni nad Prahou o svatodusnich bourich r. 1848. Pri techto bourich byla zastrelena jeho manzelka Marie Eleonora, roz. Schwarzenbergova, ktera byla velmi oblibena pro svou dobrocinnost. Ve sve zaveti zanechala napr. Stekni a Tachovu 12 000 zlatych.

Po smrti knizete r. 1862 (zemrel ve Vidni a pochovan je v Kladrubech) zdedil panstvi nejstarsi syn Alfred Mikulas (zemrel 1876) a po nem opet jeho syn doktor prav Alfred August, ktery pri parcelaci r. 1921 prodal zamek radovym sestram - jejich Ustavu anglickych panen. Sestry zde zridily divci skolu s internatem. Radove sestry zde vyucovaly francouzstine, anglictine, etikete, zenskym rucnim pracim, hre na klavir, housle a zpevu. Stekensky zamek v roce 1949 prevzal stat, ktery zde zridil Domov duchodcu. Ten zde byl az do roku 2001. Sestry zde byly az do 30. brezna 1985, kdy byly nuceny Steken opustit. Navratily se 22. brezna roku 1990.

Po odchodu Domova duchodcu se zamek postupne vraci pomoci rekonstrukci do puvodniho stavu, jsou zde provozovany prednasky, schuze, ubytovani atd.