Jako snad žádný jiný z dlouhé řady vladařů před ním ani po něm navštívil osobně několikrát oblast severovýchodního pohraničí. Místní mu stavěli pomníky a mnoho památek upozorňovalo na místa jeho pobytu. „V září roku 1880 byla odhalena mramorová pamětní deska na rokokovém domě ve Svobodě nad Úpou, kde v září 1779 při známé inspekční cestě po bojištích tzv. bramborové války s Pruskem Josef II. přenocoval.

Dům byl uchráněn radikálních stavebních proměn nejen v exteriéru, ale i v interiéru s převážně původními klenbami stropů, nezvykle prostorným schodištěm i pozdějšími dobovými doplňky, jako jsou dveře, kované zábradlí na schodišťové podestě a podobně,“ připomíná jedno z míst, která mocnář navštívil, krkonošský patriot, literát Antonín Tichý.