Zamek znajduje się na południe od miasteczka Pilica na zalesionym, skalistym wzgórzu Jury Krakowsko-Częstochowskiej. Do XVI w. nazywano go „Pilicą”. Zamek był siedzibą rodową Pileckich. Nie ma pewności co do fundatora zamku. Mógł to być starosta radomski Jan z Pilicy herbu Topór lub Otto z Pilicy, starosta ruski i wielkopolski, bliski doradca Kazimierza Wielkiego. 

Do 1577 r. zamek pozostaje w rękach dwóch linii rodu Pileckich - Toporczyków, a następnie Leliwitów. Później trafia w ręce Padniewiskich. Wojciech Padniewski, który jest kolejnym z dziedziców zamku, buduje pałac w Pilicach. W końcu przeprowadza się do niego, a zamek zaczyna niszczeć. Dzieła zniszczenia dopełniają Szwedzi, którzy wkraczają tu w 1655 r. i Austriacy, którzy kamienia z murów zamkowym użyli jako surowca do budowy komory celnej. 

Z ruin, które zachowały się dziś, wnioskuje się, że zamek składał się niegdyś z zamku górnego z basztą (zachowana do 16 metra wysokości) i dwóch podzamczy – wschodniego i zachodniego. Podzamcze wschodnie, po którym zachowały się mury obwodowe, pełniło funkcje gospodarcze. Natomiast podzamcze zachodnie ze studnią drążoną w skale miało funkcje mieszkalne. W tej części zachowały się fragmenty muru obwodowego, murów działowych i fundamentów.