Gegen 1329 hat der Deutsche Orden an einem Hügel - an dem Fluss Guber, eine hölzerne Wachburg (Rastenburg) errichtet. Sie wurde auf den Ruinen einer im 13. Jh. eingenommener Burg gebaut. Heutzutage befindet sich an dieser Stelle eine Wehrkirche des Hl. Georg. Die wichtigste Aufgabe dieser Wachburg und ihrer Besatzung war der Schutz dieses Bereiches des Deutschordensstaates vor zahlreichen litauischen Angriffen. Sie war auch ein Brückenkopf für Kampfhandlungen des Ordens in Litauen. Die Wachburg wurde zwei mal durch die litauischen Truppen - zuerst durch den Großfürsten Algirdas in 1345 und in 1347 durch den Großfürsten Kęstutis - eingenommen, verbrannt und danach wiederaufgebaut und gesiedelt.
Am 11. November 1357 hat der Komtur von Balga, Henning Schindekopf, der Ortschaft die Stadtrechte zuerkannt. In dieser Zeit hat wahrscheinlich der Bau einer gemauerten Burg in der südöstlichen Ecke der Stadtmauer angefangen.
Die Burg war am Anfang ein dreiflügeliges Gebäude, das von der westlichen Seite durch eine Mauer mit einem Einfahrtstor geschlossen war. In dem repräsentativen Nordflügel befand sich ein Remter, die Wohnräume des Ordenspflegers sowie eine Kapelle. Die Burg wurde von einer Mauer umgeben, die drei Basteien in den Ecken sowie ein Einfahrtstor seitens der Stadt hatte. In der Burg und in dem angeschlossenen Vorwerk befanden sich: Küche, Brauerei, Mühlwerk, Speicher, Speisekammer, Zeughaus, Munitionslager, Kapelle und Gefängnis.
Während des Dreizehnjährigen Krieges im Jahre 1454 haben die Stadtbewohner die Burg eingenommen. Der damalige Ordenspfleger Wolfgang Sauer wurde damals gefangen genommen und ums Leben gebracht. Nach 1525 war die Burg der Sitz der herzöglichen Starosten.
Ende Januar 1945, nach Besetzung der Stadt durch die Rote Armee, wurde die Burg und der größte Teil der Altstadt verbrannt. Die Festung hat man in den Jahren 1962-1967 wiederaufgebaut. Das äußere Aussehen der Burg wurde nach den aus dem 19. Jh. stammenden Zeichnungen von Conrad Steinbrecht rekonstruiert, indem man den gotischen Gebäudekörper wiederhergestellt hat.
Zurzeit befindet sich dort das Wojciech-Kętrzyński-Museum, die Stadtbibliothek sowie das Kulturzentrum „Zamek". Im Museum werden vor allem Sammlungen in Bezug auf die Geschichte der Stadt und der Region präsentiert. Der Großteil davon sind die Exponate des Kunsthandwerks und der Geschichte sowie Archivalien, die in den ersten Jahren nach dem Krieg durch die Museumsgründerin Zofia Licharewa gesichert wurden. Dadurch wurden Denkmäler, die vor allem einem großen historischen Wert haben, vor Vernichtung und Raub geschützt. Es waren u. a. Gegenstände, die aus Ausstattung der umliegenden Paläste und Gutshöfe, der vernichteten und ausgeplünderten Kirchen, des Archivs des Magistrats, der Resten der Vorkriegs-Sammlung von Heimatmuseum Rastenburg und des Prussia-Museums kamen.
Im Museum finden drei ständige Ausstellungen statt:
1. Wojciech Kętrzyński - Jahre 1838 - 1918, 2. Vergessenes Gesicht der Stadt Kętrzyn - Rastenburg 19.- 20. Jahrhundert, 3. Paläste und Gutshäuser der Kreis Kętrzyn.
Es befinden sich dort interessante Sammlung der gotischen Skulpturen, Möbel aus 17.-19. Jh., Sammlung von Epitaphien und Trauerfahnen, darunter auch eine einzigartige in Europa und aus dem Jahre 1667 stammende Kindes-Trauerfahne von dreijährigem Kind Botho zu Eulenburg. In der Museumsbibliothek und im Archiv befindet sich eine große Sammlung von religiösen Büchern sowie von Dokumenten aus dem ehemaligen Stadtarchiv.
Vor der Burg wurde eine Gedenktafel platziert, die an das Treffen der polnischen Truppen von napoleonischer Armee unter Führung von General J.H. Dąbrowski und General J. Zajączek, das in Kętrzyn am 21. Juni 1807 nach der Schlacht bei Friedland (am 14. Juni 1807) stattfand, erinnert.