Stoji na vzpetini, ki nudi krasen razgled po vse Grosupeljski kotlini. Na mestu predrimske naselbine so našli tudi rimske grobove in celo shranjen denar. V rimski dobi je bil na hribu, kjer je sedaj grajska razvalina, katel, točneje, »castra«, to je utrjeno, a verjetno ne zidano taborišče. V njem je prebivala rimska vojaška enota. Pozneje so na delu njegovih temeljev zgradili grajsko kaščo, imenovali so jo kašta.

Najstarejši srednjeveški grad na Boštanju je obsegal le en stolp, ki so mu pozneje prizidali še druge dele. V letih 1549 do 1550 so ga prezidali v nov, utrjen grad, ki so ga imenovali domačini Boštanj (iz Weissenstein). Najbolj znan lastniki tega gradu so bili iz plemiških družin Lamberg (sorodniki Lamberga s Kamna pri Begunjah), Auerspeg in Blagay. Ko so Lamergi prišli sem, je bil ljubljanski škof tudi Lamberg. Blagayi so prišli k nam s hrvaške strani, od pa tja, ni znano. Avstrijska veja Blagayev je izumrla v Boštanju ob koncu 18. stoletja, budimpeštanska pa se je pomadžarila.