Podle legendy byl klášter založen knížetem Břetislavem I. Jeho vojenské úspěchy vzbudily obavu německého krále a římského císaře Jindřicha III. Ten proto roku 1040 překročil s říšským vojskem hraniční hvozd, byl však, ač v početní přesile, českým knížetem poražen. Sám císař se boje neúčastnil, ale sledoval bitvu z povzdálí, usazený na pařezu nad strání na vyvýšeném místě. A právě zde dal kníže Břetislav I. postavit na památku svého vítězství a k potupě císaře kapli - základ budoucího kláštera.
Údaje o založení kláštera se různí, uvádí se například i rok 1147, kdy se zde usadili poustevníci. Ale první písemná zmínka o klášteře pochází až z roku 1379. Lokalitu Pivoně údajně vybral český král Přemysl II. Otakar, který augustiniány na popud papeže do Čech pozval. A asi nikoli náhodně. Vedla tudy totiž jedna z větví řezenské stezky - pro klášter významný zdroj zisků.
V průběhu husitských válek řeholníci konvent sice opustili, ale objekt nebyl nijak výrazněji poškozen. Po skončení válek se tedy augustiniáni vrátili a klášter vzkvétal až do doby třicetileté války. V roce 1619 museli řeholníci, donuceni českými stavy, klášter opustit. Po bitvě na Bílé hoře se sem ovšem vrátili a přestáli i švédská plenění v letech 1641 a 1648. Roku 1787 byl klášter dekretem císaře Josefa II. zrušen. V roce 1800 byl klášter přeměněn na zámek, jenž měli od roku 1848 v majetku Thun-Hohensteinové a poté až do roku 1945 rod Coudenhove-Kalergi.
V roce 1945 se nakrátko v klášteře usídlila armáda a v 50. letech Pohraniční stráž. V roce 1953 vyhořel klášterní kostel. Poté zde sídlil státní statek a jeho hospodaření znamenalo tu největší katastrofu - vnitřní zařízení bylo zdevastováno a na konci 60. let se zřítila klenba chrámové lodi. Celý areál kláštera se postupně změnil v trosky.
Areál není v současnosti veřejnosti přístupný, nicméně péčí občanského sdružení Aurelius se postupně obnovuje. Cílem je areál v budoucnu využít jednak jako turistické a kulturní zařízení a jednak jako charitativní útulek pro děti z oblastí postižených živelními pohromami a válečnými konflikty a také pro zdravotně postižené seniory. Nejcennější částí areálu je jednolodní klášterní kostel Zvěstování Páně. Jeho gotický pravoúhlý presbytář s křížovou klenbou vznikl nejspíše v 60. letech 13. století a patří k nejstarším gotickým stavbám u nás.
