Manastir Gradac je kao svoju zadužbinu podigla kraljica Jelena Anžujska, tokom prvih godina vladavine njenog starijeg sina, kralja Dragutina. Tačne godine početka i završetka radova nisu poznate, ali po nekim izvorima izgradnja je započeta 1277. godine. Najčešće se uzima da je vreme izgradnje kraj 13. veka. Najstarije pisano zabeležje o zidanju hrama ostavio je arhiepiskop Danilo Drugi, u svom delu Žitije kraljice Jelene, pisanom između 1317. i 1324. godine. Manje je poznato da je manastir sagrađen na osnovama hrama iz 6.veka n/e, a na samom mestu arheoloških istraživanjima pronađeni su materijalni dokazi praistorijskog života iz bronzanog doba.
Glavna crkva manastira podseća na studeničku crkvu i obiluje elementima gotike, zbog čega postoji verovanje da su graditelji dovedeni iz Dalmacije, budući da su na Balkanu toga vremena jedino oni poznavali gotiku. Zabeležena su i predanja koja se oslanjaju na tezu da je Jelena Anžujska poreklom Francuskinja, prema kojima su zidari došli iz Provanse ili sa Sicilije.
Freskoslikarstvo je vizantijsko. Kraljica Jelena posvetila je manastir Bogorodici, i to prazniku Blagovesti, i predala ga u ruke monasima, koji su od njega napravili muški manastir. Posle njene smrti 8. februara 1314. godine, njeni sinovi Dragutin i Milutin bogato su darivali manastir. Uprkos oštroj zimi, kovčeg sa njenim telom prenet je iz njenog dvora u Brnjacima u sarkofag u manastirskoj crkvi. Na manastirskom posedu nalazi se i jedna manja crkva, posvećena Svetom Nikoli. Služila je kao dvorska kapela.
Manastir je za vreme turske vladavine prvi put postradao vrlo rano — posle pada srednjovekovne tvrđave Novo Brdo 1441. godine. Otada je uglavnom bio bez monaha, a zatim i bez krovnog pokrivača na crkvi kada ga je narod odneo. Monasi manastira Đurđevi stupovi, iguman Stefan i jeromonah Pajsije, otkrili su iznova Gradac i pokušali da ga obnove. Novo doba opet je bilo kratkog veka i Gradac je još jednom opusteo. Mitropolit Visarion piše 1600. godine da su monaške kelije razorene, a da je manastir pokraden.
Između 1948. i 1949. godine obavljeni su prvi konzervatorski radovi, kojima su sačuvani zidovi manastira. Radovi na celokupnoj obnovi napokon su počeli tek 1962. godine. Trajali su 13 godina, pa su okončani 1975. godine. Izvršena je potpuna rekonstrukcija glavne crkve, čija je unutrašnjost bila u velikoj meri sačuvana. Od 1982. godine je počela izgradnja konaka i manastir je ponovo oživeo.
Sve freske Bogorodičine crkve su danas oštećene. Najbolje očuvana je freska Blagovesti, u lineti na ulazu u hram. U priprati su sačuvane neke scene iz Bogorodičinog života: Anina molitva u vrtu, Susret Joakima i Ane, Rođenje Bogorodice i Milovanje, Odbijanje darova, Blagoslov sveštenika i Vavedenje.
Na severnom zidu naosa oslikano je Uspenje Presvete Bogorodice, na južnom Rođenje i detinjstvo Hristovo, a na istočnom još jednom Blagovesti. Na jugozapadnom zidu su oslikani osnivači manastira, zatim kralj Dragutin i kraljica Katalina, a sve ih pred Bogom zastupaju Bogorodica i kralj Stefan Prvovenčani.
