Каплиця, заснована у XVI столітті єпископом Йонасом із литовського князівського роду та посвячена святій Марії Магдалині, згодом стала називатися Єпископською, оскільки в крипті під нею ховали єпископів Віленського кафедрального собору. Протягом тривалого часу в табернакулі на вівтарі цієї каплиці зберігали Найсвятіші Дари, тому закріпилася й назва Каплиця Пресвятого Таїнства.

На стелі каплиці зображена фреска, що показує Христа, який благословляє всіх паломників, у супроводі двох ангелів. На початку XX століття каплицю оздоблено фігурами ангелів, євхаристійними символами та монограмами Ісуса Христа, виконаними в техніці сграфіто. Автором цих робіт був Юрґіс Гоппенас.

На східній стіні встановлено епітафію, присвячену єпископу Антанасу Пранцішкусу Аудзявічюсу (1833–1895). На плиті з білого мармуру позолоченими літерами викарбувано латинський текст, під яким розміщена монограма — скорочене ім’я Христа. Над плитою — схрещені єпископський жезл і хрест, а вище, у ніші, — мармурове погруддя єпископа. Над вівтарем висить картина XVIII століття «Святий Тома» невідомого автора.