Klasztor został ufundowany w 1771 r. przez hetmana Jana Klemensa Branickiego. Usytuowano go w południowej części Tykocina (obecnie ul. Klasztorna) na miejscu dworu Zygmunta Augusta, wykorzystując niektóre elementy tego dworu. Miał tu powstać również kościół klasztorny Nawiedzenia NMP, jednak planu tego nigdy nie zrealizowano. W jego miejscu, w centrum dziedzińca na żeliwnym cokole ustawiono w 1861 r. wyrzeźbioną w piaskowcu figurę Niepokalanego Poczęcia NMP. Realizację fundacji Branickiego utrudniła jego śmierć. Budowę dokończyli płk Antoni Ostrowski i podczaszy podlaski Michał Szczawiński. Dopiero w 1791 r. dokonano konsekracji urządzonej we wschodnim skrzydle późnobarokowego klasztoru jednonawowej kaplicy, w miejsce której w 1837 r. wzniesiono kościółek. W 1853 r. zbudowano murowaną dwukondygnacyjną klasycystyczną bramę – dzwonnicę.

W 1864 r. klasztor bernardyński, liczący wtedy 13 ojców i braci, został zlikwidowany ukazem carskim po powstaniu styczniowym i przeszedł w ręce prywatne.