Renesansowy gmach dawnego Klasztoru Dominikańskiego od zachodniej strony jest praktycznie przyklejony do Bazyliki Nawiedzenia Najświętszej Marii Panny. Jego masywne mury, zwieńczone w narożnikach okrągłymi basztami przykrytymi hełmami, powodują, że bardziej przypomina on zamek magnacki niż miejsce ciszy i modlitwy. Budowa klasztoru trwała prawie przez cały XVII w. Zakonnicy przebywali w nim do czasu III rozbioru Polski. Wewnątrz znajdują się sale wystawowe, otwarto również Muzeum Diecezji Sejneńskiej.