Původní vrcholně barokní kapli sv. Šebestiána, nazývanou rovněž Morová kaple (Pestkapelle), nechali vystavět v roce 1714 podle návrhu neznámého architekta žlutičtí měšťané na bývalých příkopech před hradbami u domu čp. 162 naproti hostinci Na Hrábí (Rechenwirtshaus) na rozcestí pod dnes již zavezeným rybníkem Hrábí (Rechenteich) pod areálem hospodářského dvora v horní severní části města Žlutice (Luditz). Kaple byla zřízena z vděčnosti za ušetření před morovou epidemií, která se městu roku 1713 vyhnula. V roce 1714 byla poté kaple slavnostně vysvěcena. Farou spadala kaple ke kostelu sv. Petra a Pavla ve Žluticích. Roku 1834 byla kaple renovována.

V roce 1860 byla poté stará chatrná kaple sv. Šebestiána patrně z důvodu rozšiřování silnice zbořena a nově vystavěna v pseudorománském historizujícím slohu podle návrhu neznámého architekta naproti rybníku u východního úseku ohradní zdi bývalého zámeckého areálu při levé straně silnice na Karlovy Vary. Na stavbu kaple věnoval tehdejší držitel zdejšího statku Karel Kokořovec z Kokořova 400 kusů cihel. Do nové kaple bylo následně přeneseno původní vybavení interiéru. Ještě v srpnu roku 1934 proběhla oprava kaple sv. Šebestiána u rybníku Hrábí. Po nuceném vysídlení německého obyvatelstva po konci druhé světové války však přestala být kaple udržována a postupně chátrala. Vnitřní zařízení kaple bylo následně rozkradeno či zničeno.

Koncem osmdesátých let 20. století poté přistoupilo město Žlutice k celkové rekonstrukci tehdy již značné zdevastované kaple. Během renovace byla podstatně zjednodušena výzdoba průčelí kaple, vynecháno bylo plastické orámování vchodu a větší část motivu zubořezu pod korunní římsou. V interiéru obnovené kaple bylo následně umístěno sousoší Piety z doby kolem roku 1600 přenesené údajně ze vsi Knínice. Dne 29. března 1996 byla kaple sv. Šebestiána ve Žluticích zapsána na státní seznam nemovitých kulturních památek pod rejst. č. 11235/4-5069 jako součást městské památkové zóny Žlutice. Roku 2014 bylo sousoší Piety z interiéru přeneseno do renovované kaple Panny Marie ve vsi Knínice.

Další celková rekonstrukce kaple proběhla v r. 2020. MgA. Helena Jahodová vytvořila novou sošku v. Šebestiána. Sochy Ježíše a Panny Marie zapůjčila do kaple Římskokatolická farnost Žlutice. Jejich restaurování zajistil spolek SOVa (p. Miloslav Blahout z Písku, cena 25 000,- Kč).

Mříž zhotovil kovář p. Ladislav Čermák.

Nápis