Zamek pochodzi z II poł. XIII wieku. Został wybudowany przez jednego z biskupów krakowskich, Prandotę. Dawniej stał w tym miejscu zamek rozbójników. Dzisiejszy kształt zamek zyskał w XV w. Jest to czworobok, który został otoczony murami obwodowymi. 

Zamek pełnił na przestrzeni wieków różne funkcje m.in. więzienia biskupiego i poprawczaka dla księży.W XVI w. uległ zniszczeniom podczas pożaru i najazdu szwedzkiego. Po I-wszym rozbiorze Polski w 1789 r. trafił w ręcę Austriaków. Od tego czasu był opuszczony. Dzieła zniszczenia dopełnił pożar w 1800 r.

Dziś w Lipowcu zabezpieczonym jako trwała ruina można obejrzeć ekspozycję prezentującą jego dzieje i wejść na wieżę, która ma wysokość 28 metrów.