Ende des 13. Jahrhunderts Biskup Jan Muskata rozpoczął budowę murowanego z kamienia zamkumającego charakter obronny.