Jan Długosz twierdzi, że przed 1362 r. Kazimierz III Wielki wystawił przywilej zezwalający Henrykowi, byłemu wójtowi w Warcie, na lokalizację zamku w Kole. Został wybudowany w ostatnich latach panowania Kazimierza, czyli przed lokacją samego Koła i nie wiadomo czy król kiedykolwiek w nim przebywał, ponieważ brak jest o tym jakiejkolwiek informacji w źródłach. Kolejna wzmianka pojawia się w Kronice Janka z Czarnkowa dopiero w 1383 roku i dotyczy starosty Krzona alias Krystyn z Kozichgłów herbu Lis, który miał z tego zamku poprowadzić wyprawę na dobra arcybiskupie podczas wojny Grzymalitów z Nałęczami.
Badania archeologiczne wykazały, że pierwszym obronnym elementem założenia zbudowanym jeszcze przed okresem panowania Kazimierza Wielkiego była wieża - donżon na planie prostokąta, zbudowana z cegły na fundamentach kamiennych i odwiedziona wałem drewniano-ziemnym, którą mógł wybudować Bolesław Pobożny (według M. Żemigały), Henryk Głogowczyk, Wacław II (według T. Olszackiego) lub Władysław Łokietek (według T. Poklewskiego-Koziełła). Gród ten otaczał rozlewiska rzeki Warty.
Razem z zamkiem w czasach Kazimierza Wielkiego zostały wybudowane również: ratusz i kościół farny Podwyższenia Krzyża Świętego, czyli pierwsze budowle murowane w Kole.
Kazimierz Wielki przyjmował tu poselstwo Związku Jaszczurczego. Po bitwie pod Grunwaldem podejmowano w nim ważne decyzje o dalszym prowadzeniu wojny. W latach 1476-1481 zamek był siedzibą księżnej sochaczewskiej Anny. Gdy zawiązywał się opozycyjny dla Zakonu Związek Pruski, jego przedstawiciele spotkali się z Kazimierzem Jagiellończykiem właśnie w Kole. W 1513 roku na zamku przebywał król Zygmunt Stary. Od połowy XVI wieku zamek zaczął podupadać. W 1655 roku zajęli go Szwedzi. W XVIII wieku August III nadał zamek bernardynom kolskim, którzy rozpoczęli rozbiórkę w celu uzyskania materiału budowlanego dla odbudowy zniszczonego klasztoru, jednak silna zaprawa łącząca kruchą cegłę uniemożliwiła całkowitą rozbiórkę murów budowli.
Zamek kolski był warownią o znacznych walorach obronnych. W latach 50. XX wieku został poddany konserwacji. Podczas prac archeologicznych w latach 70. pracownicy Muzeum Okręgowego w Koninie odkryli m.in. nieznane dotąd fundamenty, umożliwiające pełniejszą rekonstrukcję planu budowli. Znaleziono również wiele pozostałości, takich jak szkiełka okienne, fragmenty naczyń szklanych, figurkę szachową. Zagadką nadal jest lokalizacja bramy wjazdowej. Podobno wjazdu do zamku strzegła wieża bramna w kurtynie wschodniej, wysunięta przed mur obronny. Częste wylewy Warty oraz „gospodarni” wielkopolscy mieszkańcy sprawiły, że z dawnego zamczyska pozostały zaledwie niewielkie fragmenty murów, które po II wojnie światowej zabezpieczono.
Budowla była średniowieczną typową fortecą, ale też przez wiele lat siedzibą starostów kolskich. Przez wiele wieków Koło, dzięki zamkowi, stanowiło ważny punkt warowny państwa polskiego na terenie Wielkopolski. Zamek bywał odwiedzany przez królów polskich, odbywały się w nim również zjazdy szlachty wielkopolskiej od 1433 roku.
Zamek był przede wszystkim budowlą o charakterze militarnym, toteż przypuszcza się, że wyposażenie było raczej skromne. Być może bogatszy wystrój architektoniczny zastosowano w budynku na terenie zamku podczas rezydowania w nim księżnej Anny Sochaczewskiej.
Od połowy XVI stulecia stracił znaczenie i zaczął popadać w ruinę. Dziś już możemy oglądać tylko fragmenty zewnętrznych murów, fundamenty wieży bramnej i dolną część drugiej wieży.
Do rejestru zabytków ruiny zostały wpisane 17 stycznia 1953 roku.