Manoma, kad šioje vietoje Mindaugo krikšto metu galėjo būti pastatyta pirmoji Vilniaus katedra, vėliau paversta Perkūno šventykla. Tačiau patikimų liudijimų apie tai neturime.
XIII a. dabartinės varpinės vietoje stovėjo keturkampis Žemutinės pilies gynybinis bokštas, skirtas vartų apsaugai. Nepaisant įvairių istorinių negandų, po žeme išliko beveik visas pirmas bokšto aukštas. Tai vienas seniausių mūrų Lietuvoje.