Najciekawszym zabytkiem okolicy są ruiny średniowiecznej warowni. Badania archeologiczne wykazały, że w XI w. wznosił się tutaj drewniany gród obronny, który w połowie XII w. uległ spaleniu. Pierwsza wzmianka o murowanym zamku pochodzi z 1349 r. Jego fundatorem był król Kazimierz Wielki. Wkrótce w sąsiedztwie warowni powstała osada zamkowa o charakterze podgrodzia, zwana Olsztynkiem (nazwa nadana przez Pawła Odrowąża), która w 1448 r. otrzymała prawa miejskie z rąk Kazimierza Jagiellończyka. Ważnym momentem w historii Olsztyna było nadanie w 1532 r. prawa do jarmarków i targów, co wpłynęło na jego dalszy rozwój. Rozbudowa miasta została jednak przerwana, najpierw przez najazd wojsk Maximilliana Habsburga w 1587 r., a niecały wiek później wojsk szwedzkich. Pożar w 1719 roku przyniósł całkowite zniszczenie okolicy, a Olsztyn pomimo statusu miasta królewskiego stał się w rzeczywistości osadą rolniczą. Jednak dopiero ukaz carski z 1870 r. formalnie pozbawił Olsztyn praw miejskich. W czasach świetności warownia posiadała zamek górny i dolny oraz dwa podzamcza. Według przekazów pod zamkiem istnieje rozległy system jaskiń i korytarzy wykutych w skale.
Ciekawostki
• Według przekazów pod zamkiem istnieje rozległy system jaskiń i korytarzy wykutych w skale. Mówi się też o podziemnym tunelu łączącym olsztyńską warownię z klasztorem jasnogórskim. Podobno tunel ten miał przebiegać pod rzeka Wartą, a wejście do niego zostało zawalone gruzem.
• Niepowtarzalna sceneria zamkowego wzgórza i okolic Olsztyna służyła znakomitym reżyserom do kręcenia ujęć znanych filmów. Wśród nich można znaleźć kilka kultowych pozycji
Rękopis znaleziony w Saragossie, Wojciech Has (1964 r.)
Hrabina Cosel, Jerzy Antczak (1968 r.),
Polonia Restituta, Bohdan Poręba (1980 r.)
Demony wojny według Goi, Władysław Pasikowski (1998 r.)
Młyn i krzyż, Lech Majewski (2010 r.)
Klub Włóczykijów i tajemnica dziadka Hieronima, Tomasz Szafrański (2015 r.)