Побудована в 15 столітті, каплиця належала шляхетній родині Гоштаутасів (Гаштольдів), які поховані в крипті під нею.

На східній і західній стінах каплиці збереглися два цінні надгробки 16 століття. Перший присвячений Альбертусу Гоштаутасу, канцлеру Великого князівства Литовського (автор - Бернардо Занобі да Джанотті). Це найстаріша меморіальна скульптура в Литві, що має риси як готики, так і ренесансного мистецтва. Другий надгробок присвячений єпископу Пауліусу (Повіласу) Алшенішкісу (Павлу Гольшанському) (автор Джованні Марія Падовано).