Působení karmelitánů
Před příchodem servitů do Rabštejna nad Střelou působili v této lokalitě v letech 1483 až 1532 karmelitáni, které na své panství přivedl tehdejší majitel Burian z Gutštejna s manželkou Sidonií. Spolu s konventem vzniká v rámci fundace i kostel Zvěstování Panny Marie. Avšak již v roce 1532 je klášter za dodnes nejasných okolností nekatolickými občany Rabštejna vypálen a řeholníci vypuzeni. Roku 1664 jsou tak z kláštera zmiňovány již jen „zbytky za kostelem“, západně od dnešního zámku.
Tím však historie působení karmelitánů v Rabštejně nekončí. Nový majitel panství Jan Šebestián hrabě Pötting hodlal svou nadací ze dne 25. 5. 1666 uvést do této lokality řád servitů (6 kněží a 2 laiky), avšak karmelitáni se dožadovali svého návratu a tak se rozhořel spor, který řešila nejprve arcibiskupská konzistoř v Praze a posléze i Svatý stolec v Římě, který příchod servitů povolil až roku 1671.
Působení servitů
1. 7. 1671 přichází do Rabštejna první servité (2 řeholníci a 1 laik), kteří slouží mše v loretánské kapli postavené téhož roku na skalním výstupu před hradbami města. Základní kámen nového konventu a kostela byl položen až v létě roku 1672. Stavitelem čtyřkřídlého konventu situovaného v západní části areálu východně od hradní věže byl patrně Tommas Pinqueti. Stávající, severně situovaný a kapacitně již nevyhovující kostelík z dob působení karmelitánů, je rozšířen západním směrem. K Východní části konventu pak přiléhal ještě další malý kostelík. Se zámkem pak konvent a patrně i kostel spojovala visutá dřevěná chodba.
Za působení Czerninů z Chudenic začíná z důvodu zchátralosti a patrně i nedostatečnosti roku 1730 na jižní straně areálu výstavba nového kláštera dle plánů Františka Maxmiliána Kaňky. Záměrem byla výstavba dvou rovnoběžných křídel přibližně západo-východní orientace, propojených kolmým středním křídlem. Východní dvůr měl uzavírat klášterní chrám, dvůr severní se zachovanou hradní věží, měl zůstat otevřený. Výstavba kostela probíhala v letech 1766-1767 dle starších plánů Anselma Luraga. Průčelní věž pak v roce 1769. Kostel zasvěcený Panně Marii Sedmibolestné byl vysvěcen 16.9.1769. Z konventu bylo realizováno pouze jižní křídlo, neboť 13. 4. 1787 dochází ke zrušení kláštera.
Z konventního kostela se stává kostel farní. V roce 1878 prochází kostel renovací. V budově kláštera byla umístěna fara, zřízena škola, posléze i byty, hotel (U mnicha – RAJ Plzeň) či rekreační objekt (Sazka). Dnes je objekt kláštera v soukromém vlastnictví, kostel pak ve vlastnictví Římskokatolické farnosti Manětín.