Zdejší proboštství kanonie premonstrátů v Milevsku je poprvé zmiňováno roku 1354, ačkoliv zdejší hospodářské působení je patrně starší. Součástí areálu bylo mimo vlasntího proboštství i proboštský kostel sv. Jana Křtitele. Po roce 1420 se do proboštství uchýlila část konventu v Milevsku, která zde působila až roku 1429, kdy Toužim získal husitský hejtman Jakoubek z Vřesovic, které mu bylo roku 1437 zastaveno císařem Zikmundem.
Po odchodu kanovníků je proboštství přestavěno na hrad, po Janu z Vřesovic zvaný Janův hrad, později tzv. Horní zámek. Roku 1538 se noví majitelé panství, páni z Plavna, finančně vyrovnávají s milevským opatem.
Prostor bývalého proboštství, později Janova hradu a Horního zámku 29.7.2022:
VLČEK, Pavel, Dušan FOLTÝN a Petr SOMMER. Encyklopedie českých klášterů. Praha: Libri, 1997. ISBN 8085983176, str. 673