Zamek murowany zbudowano na wysokim, bo wznoszącym się ok. 42 m nad dolinę Iłżanki wzgórzu, ok 1340 r. pełnił funkcję obronnej rezydencji biskupiej i ośrodka administracyjnego rozległego klucza majątkowego, liczącego w poł. XV wieku 14 wsi i 1 miasto.
W świetle wyników badań ustalono, że został wzniesiony na surowym korzeniu, a budowę zrealizowano w dwóch etapach. W pierwszym wzniesiono część obwodu warownego od wschodu, cylindryczną wieżę, oraz pomieszczenie tzw. domu wielkiego od północy. W kolejnym domknięto mur kurtynowy oraz wzniesiono bramę. Dzielił się na właściwy zamek wysoki (górny) oraz na północ od niego położony zamek niski. Oba człony założenia zostały oddzielone głęboką fosą. Zamek górny, wzniesiony na planie nieregularnym, zbliżonym do trójkąta, o powierzchni ok. 1500 m2 lokowano na kulminacji wzgórza. Mur obwodowy zbudowany został z wapienia łamanego, łączonego zaprawą wapienno-piaskową, w kształcie migdałowatym-trójkąta o zaoblonych narożach. Od strony zachodniej znajdowała się brama. W narożu wschodnim, w ciągu murów obwodowych umieszczono cylindryczną wieżę, od strony północno-zachodniej niewielki dom mieszkalny. Zamek był wielokrotnie rozbudowywany. Pierwsza rozbudowa miała miejsce 2 poł. XIV wieku, kiedy to bp Florian z Mokrska (1367-1380) otoczył murami miasto, oraz rozbudował częściowo zamek….