Początki miasta związane są z dworem namiestnika, kniazia Iwana Wiśniowieckiego, który powstał w 1522 r. Dwór miał charakter obronny i został postawiony na wysokim wzniesieniu między zakolem Marychy (dawniej zwana Sejną - Sienną - od dużej ilości siana pozyskiwanego na jej brzegach), a jeziorem Sejny. Zwany był wysokimi Sejnami. W 1593 roku dobra sejneńskie nabył leśniczy przełomski, starosta przeorski - Jerzy Grodziński. W swym testamencie dobra sejneńskie przekazał dominikanom wileńskim. Przyczyną nadania - według legendy była wdzięczność zakonnikowi ze snu, który pomógł przyszłemu donatorowi wyzwolić się z mocy złego ducha. Zakonnicy rozpoczęli w 1610 r. budowę kościoła i klasztoru, które miały obronny charakter. Kościół konsrekrowano w 1632 roku, ale budowa klasztoru trwała aż do końca XVII wieku.Dominikanie rozwinęli gospodarkę na tym terenie. Stali się właścicielami jezior, kilku wsi i folwarków, a także lasów. W samym mieście stworzono olbrzymie stawy rybne, które niedawno częściowo zasypano. 

W okresie "potopu szwedzkiego" Sejny poniosły ogromne straty. Później strawiły je pożary oraz dżuma. Zła passa jednak nie trwała długo. W drugiej połowie XVIII wieku za sprawą dominikanów miasto się ożywiło. Powstała wtedy osada barokowa. W 1760 roku dzięki starościnie wiżajneńskiej i sejwejskiej Róży z Platerów Strutyńskiej kościół otrzymał dwie wieże i rokokową elewację, powstał murowany ratusz, drewniane sukiennice i barokowa kaplica św. Anny. Centrum zajmował rynek, wokół którego urządzono domy zajezdne. W 1787 roku po otrzymanu nowych przywilejów miasto mogło sprowadzić kupców i rzemieślników żydowskich. 

Bazylika pod Wezwaniem Nawiedzenia Najświętszej Marii Panny jest zbudowana w stylu baroku wileńskiego. Kościół jest z cegły, tynkowany, trójnawowy - odługości 45 m, szerokości 18 m. Wieże wznoszą się do 47 m. Posiada dwie dobudowane kaplice - Serca Jezusowego (1661) oraz Matki Boskiej (1881) Aktu konsekracji kościoła w 1632 roku dokonał sufragan wileński bp Jerzy Tyszkiewicz. Większość ołtarzy, malowideł i wyposażenia kościoła pochodzi z XVIII stulecia. Najcenniejsza jest figura, słynąca łaskami - średniowieczna Madonna szafkowa (krzyzacki ołtarzyk polowy) - z początku XV wieku.W 1975 r. otrzymała ona korony papieskie, wtedy też kolegiata sejneńska została podniesiona do rangi bazyliki mniejszej. W 1791 roku miasto uzyskało samorząd i burmistrza, a mieszczanie prawa obywatelskie. W 1796 roku władze pruskie skonfliskowały dobra zakonne i wysiedliły zakonników do Różanegostoku. Mimo tego miasto dalej się rozwijało. W 1807 r. stało się siedzibą powiatu wigierskiego i sądu pokoju. W latach 1818-1925 r. Sejny były także siedzibą diecezji augustowskiej, przy której powstało seminarium. W latach 1807-1817 funkcjonowało liceum, później szkoła wydziałowa i wojewódzka, a następnie gimnazjum (do 1840 r.). Właśnie w tym czasie nastąpił złoty okres dziejów miasta. Przebudowano magistrat i kamienice nadając im neoklasyczny wygląd. Niestety likwidacja przez zaborców ośrodka oświatowego oraz odsunięcie lini kolejowych oraz głównych szos od miasta spowodowała jego stopniowy upadek.

Na przełomie XIX i XX wieku Sejny stały się ośrodkiem odrodzenia narodowego Litwinów, których wspierali duchowni miejscowej kapituły i seminarium. Wychodziła tu wówczas prasa litewska oraz funkcjonowały narodowe wydawnictwa.Aspiracje wolnościowe stały się przyczyną zaostrzenia konfliktu między Polakami a Litwinami. Były też przyczyną powstania sejneńskiego wywołanego 23 sierpnia 1919 roku przez miejscową Polską Organizację Wojskową. Po pięciu dniach zaciętych walk Polacy opanowali Sejny. Po wyznaczeniu linii Focha sporne miasto zostało po stronie polskiej. Dziś społeczność litewska stanowi 30 procent mieszkańców Sejn. W okresie międzywojennym przygraniczne położenie spowodowało degradację miasta. Od 1925 roku pozostało tylko siedzibą gminy. Ponowny jego rozwój nastapił w latach 1956-1975, kiedy to stało się siedzibą powiatu.Obecne ożywienie gospodarcze Sejn wiąże się z funkcjonowaniem przejścia granicznego w Ogrodnikach oraz z ponownym umiejscowniem władz powiatu.