Soudě podle názvu (z německého Brettstein – „prkenný hrad“) byla značná část tehdejšího stavení ze dřeva. Z východní strany hrad chránily dva valy. Poté, co Zilvárové ve druhé polovině 16. století přestěhovali své sídlo do nedalekých Vlčic, zůstalo místo opuštěné.

V roce 1790 vlčické panství kupuje zámožný lnářský podnikatel Jan František Theer a Břečštejn opravuje. Nad klenutou částí objektu nechává navíc vybudovat osmiboký dřevěný altán. Zbořen byl až roku 1969. Památku mimo jiné využívali divadelníci, ještě za první republiky zde dokonce fungoval hostinec. Břečštejn je také spojen s významnými postavami českých dějin.

Nejenže jej na svých cestách navštívil legendární básník Karel Hynek Mácha, ale v těsné blízkosti má chalupu bývalý český prezident Václav Havel. Zřícenina, ke které z Trutnova vede značená turistická trasa, je v současnosti zájemcům přístupná jen na vlastní nebezpečí.