Výraznou dominantu Stráže pod Ralskem tvoří zámek Vartenberk. Budova s pohnutou historií v rámci programu záchrany architektonického dědictví prochází už od roku 2006 celkovou rekonstrukcí, a to i za přispění Libereckého kraje.
„Pro město velikosti Stráže pod Ralskem je obnova zámku, který převzalo skutečně v dezolátním stavu, náročným úkolem. Přesto se vedení města za podpory zastupitelstva rozhodlo, že se pustí do postupné rekonstrukce. Liberecký kraj na tuto rekonstrukci přispívá. A proměna k lepšímu, i když zatím jen vnější, je pro návštěvníky již z dálky viditelná,“uvedla Květa Vinklátová, radní pro kulturu, památkovou péči a cestovní ruch Libereckého kraje.
Původně na místě stál gotický hrad, který pravděpodobně založil Markvart z Března či jeho syn Beneš z Vartenberka ve 13. století. Po pánech zVartenberka se majitelem zámku stal šlechtický rod Hyršpergárů, který jej přestavbou změnili na renesanční zámek. Jeho majiteli byli postupně pak Lichtenštejnové, Hartigové a na krátký čas také Albrecht z Valdštejna.
Za druhé světové války byla na zámku věznice. Po válce si jej ke svým potřebám zabrala rudá armáda, která uvnitř vybudovala nemocnici a zotavovnu. Budova zámku 11. září 1987 vyhořela.
Na protější straně Zámeckého vrchu, kde se Vartenberk nalézá, se nachází kaple svatého Jana Nepomuckého, která je se zámkem spojena lipovou alejí.