Na místě, na kterém dnes stojí zámek založil přibližně v roce 1350 Hynek z Valdštejna hrad Skály. Hrad byl pro svou vynikající polohu a obtížnou přístupnost důležitým správním i vojenským střediskem. Třikrát hrad vyhořel úplně a to v letech 1525, 1710, 1714, a jednou vyhořel z části a to v roce 1804.
Zámecký komplex, vznikl přestavbou gotického hradu, na strmých pískovcových skalách při severozápadním okraji Hruboskalského skalního města. Přestavbu zámku, vlastně jeho regotizace, započatá r. 1859 porušila všechny stopy gotické, renesanční i barokní výstavby a spolu se stavbou empírového kostela Sv. Josefa (1812) vytvořila romantický komplex, charakteristický pro dobu před polovinou 19. století.Na místě bývalého hradního vězení byl vysázen počátkem 19. století Anglický park.
Na zámku jsou známé pověsti o "panenském vězení", Dračích skalách a známá je také pověst o dobývání hradu Žižkou - jeho známé rčení, že skála patří čertu. Prakticky přistupoval k držbě hradu známý Albrecht z Valdštejna, který zde věznil své neposlušné příbuzné, např. bankrotáře Hanibala.
Zámek byl po roce 1945 upraven pro účely odborové rekreace, čemuž padla za oběť značná část původních interiérů. Přístupné je nádvoří a hranolová věž s ochozem jako vyhlídka na Hruboskalské skalní město,samostatně. Donedávna rekreační zařízení (ROH), nyní hotel společnosti OREA.

dostupnost: Na kole, Pěšky, Autem