Historia Ostrej Bramy rozpoczyna się wraz z rozbudową Wilna. W XV-XVI wiekach miasto otoczono murem obronnym. Powstało wtedy dziewięć bram miejskich, z których do dziś przetrwała tylko Ostra Brama.
Pierwsza wzmianka o bramie pochodzi z roku 1514. Brama nosiła wtedy nazwę “Miednicka”. Nazwa “Ostra Brama” (łac. Porta Acialis), wywodząca się od dzielnicy Ostry Koniec, pojawiła się w roku 1594 roku. Średniowiecznym zwyczajem na bramie umieszczono darzony czcią i szacunkiem obraz Matki Boskiej, którego opiece powierzano miasto wraz z jego mieszkańcami.
Początkowo wizerunek Madonny nie miał pozłacanej sukienki. Z biegiem czasu uzyskał ręcznie zrobioną, wykonaną przypuszczalnie przez wileńskich złotników, srebrną pozłacaną szatę, zakrywającą cały obraz za wyjątkiem twarzy i dłoni Matki Bożej. Na blachach wykute zostały motywy z kwiatów. Obrazowi przypisywano cudowną moc gaszenia pożarów – przetrwał bowiem bez uszczerbku niejeden pożar kaplicy i kościoła.
Dzisiejsza kaplica swój wygląd zawdzięcza pracom restauracyjnym przeprowadzonym w 1829 roku w stylu klasycystycznym. W 2010 roku w kaplicy przeprowadzono prace remontowe, które wywołały gniew i szok. W trakcie tych prac zostały zdemontowane drewniane zabytkowe drzwi, uszkodzono autentyczne ceramiczne płytki z 1932 roku, zmieniono poręcze, a zamiast nich zamontowano nowoczesne.
Stare ponad stuletnie schody, po których większość wiernych pielgrzymów wchodziła na kolanach, zastąpiono nowymi ze sztucznego granitu.
Ostrobramska Pani znalazła miejsce w sercu wielu Polaków. Tu się modlili Adam Mickiewicz, Juliusz Słowacki i inni sławni Wilnianie. Zachwyt miejscem niejednokrotnie znajduje swoje odzwierciedlenie w ich twórczości. To Matka Boża Ostrobramska była największym wspomnieniem dzieciństwa Mickiewicza, to od Niej otrzymał on “cudowne uzdrowienie”, o którym wspomina w swojej epopei:

““Panno święta, co Jasnej bronisz Częstochowy
I w Ostrej świecisz Bramie! Ty, co gród zamkowy
Nowogródzki ochraniasz z jego wiernym ludem!
Jak mnie dziecko do zdrowia powróciłaś cudem,
(Gdy od płaczącej matki pod Twoją opiekę
Ofiarowany, martwą podniosłem powiekę
I zaraz mogłem pieszo do Twych świątyń progu
Iść za wrócone życie podziękować Bogu) (…)””