Найстарішою будівлею Ольштина є замок, зведений в XIV столітті, який спочатку складався з двох крил - північного та південного. В епоху бароко до замку було добудоване третє крило, скероване в сторону міста. У результаті археологічних досліджень виявилося, що замок засновано на на сирому корені, тобто там, де немає слідів інших поселень. Замок належав до вармінського катітулу, який разом з єпископом Вармії, до 1454 року був під військовим захистом Тевтонського ордена. З цієї причини замок відіграв значну роль під час польсько-тевтонських воєн.
У 1410 році після битви під Грюнвальдом, замок здався без бою полякам, а в 1414 році вони захопили його після декількох днів облоги. Під час тринадцятирічної війни (1454-1466) він переходив з рук в руки. У 1521 році лицарі грозили замку і місту. Завдяки обороні, підготовленій Миколаєм Коперником, все скінчилося одним невдалим нападом.
У 1516-1519 і 1520-1521 роках в замку в Ольштині обов'язки управляючого виконував Миколай Коперник. Він жив у північно-східному крилі замку, у великій кімнаті, з двох вікон якої простягався вид на Лину та замковий млин, а з третього - на двір. Обидві кімнати на початку шістнадцятого століття мали красиві, кришталеві зводи, які однак були досить низькими, і лише чотири століття потому їх вдалося підвищити за рахунок зниження підлоги.
Як адміністратор Коперник багато подорожував по землях капітулу, щоб залагодити різні адміністративні справи. Примітки нотував в книзі Розташування покинутих ланів (Lokacje łanów opuszczonych). Оригінал цієї книги, яка містить десятки записів, створених Коперніком, знаходиться в Архіві вармінської єпархії в Ольштині.
Його основними завданнями були: турбота про належне управління майном капітулу, своєчасний збір орендної плати, охорона лісового господарства, догляд за радами міст.
У той же час він продовжувати вести наукову роботу. Під час свого перебування в Ольштині Коперник займався питаннями реформи грошової системи в Королівській Пруссії, результатом цієї діяльності є його «Трактат про монети». Тут він спостерігав за рухом планет, а ольштинські дослідження допомогли також написати «Про обертання небесних сфер», в якому астроном представив геліоцентричну теорію будови світу. У замку в Ольштині він написав першу книгу цього трактату.
На стіні монастиря, над входом в житлову кімнату адміністраторів, донині збереглася безцінна пам'ятка - астрономічна таблиця, власноручно зроблена Миколаєм Коперником. Вона використовувалася для визначення весняного рівнодення. На Нікейському соборі в IV столітті рівнодення зафіксовано 21 березня, за часів Коперніка воно припадало на 11 березня. З цього приводу виникла десятиденна різниця між календарем та космосом. Церковні свята встановлювалися відповідно до рівнодення, тому необхідно було реформувати календар. Незважаючи на те, що Миколай Коперник вилічив рівнодення, реформу календаря не проведено відразу. У Польщі, вона пройшла тільки в 1582 році, тобто після смерті Миколая Коперника. Саме тоді після дати 4 жовтня негайно наступила дата 15 жовтня - перехід від юліанського календаря на григоріанський.
У стінах замку, як його частина, існує також побудована в першій половині XVI століття каплиця Святої Анни, яку в 1580 році визнав святою єпископ Марцін Кромер. На зовнішніх стінах замку прекрасно збереглися навесні бійниці - виступаючі дерев'яні ґанки з отворами, через які раніше метали снаряди, лили окріп або смолу на голови напасників.
У XVIII столітті ольштинська фортеця у зв'язку з перенесенням адміністрації капітулу в Фромборк, почала втрачати своє значення, врешті решт зменшилися її оборонні функції. Після демонтажу стін замку в 1758 році з боку міста добудовано нове крило. У наступні роки замок служив різним цілям, в ним також розташовувалася центральна в'язниця. Після створення ольштинської реєнції, тут замешкав її голова.
З 1945 року в об'єкті був створений Мазурський музей - нині Музей Вармії і Мазур. На другому поверсі північного готичного крила призначено для відвідування: житлові кімнати адміністраторів, рефекторій (трапезну), каплицю, а також складово-обороні приміщення. Доступна для відвідувачів також вартова вежа, з якої простягається вид на панораму міста.
Сьогодні в замку проводяться концерти, виставки, лекції, наукові засідання, покази фільмів (наприклад, серія літніх зустрічей «Щочетверга з Коперником», концерти ольштинського камерного ансамблю «Pro Musica Antiqua», зустрічі з циклу «Життєпис»).
Музей відомий своєю нетрадиційною формою огляду пам'яток. Ви можете заглянути до недоступних для щоденного відвідування приміщень, примірити середньовічні обладунки. Наймолодші охоче беруть участь у спеціальних курсах.