Minima nuo XIII a., kadaise čia buvo gynybinė pilis, vėliau – valdovo dvaras. 1313 m. priešingame Nemuno krante kryžiuočiai pastatė Kristmemelio pilį, o šiapus stovėjo Bisenės pilis. 1328 m. užfiksuotas žemės drebėjimas. 1431 m. Ldk Švitrigaila ir Vokiečių ordino magistras Paulis Rusdorfas sudarė Skirsnemunės sutartį. Skirsnemunės (Žvyrių) evangelikų liuteronų bažnyčia XV a. minimas Skirsnemunės dvaras, XVI a. – miestelis, turėjęs turgų ir prekymečių privilegijas, nuo 1523 m. minima Skirsnemunės bažnyčia. 1549 m. Ldk Žygimantas Augustas Skirsnemunę užrašė Barborai Radvilaitei. Laisvojo miesto teises ir herbą 1792 m. gegužės 12 d. suteikė Stanislovas Augustas, tačiau po kelių mėnesių krašte nugalėjo rusų palaikomi miestų reformos priešininkai ir savivalda buvo panaikinta. Vietos gyventojai bandė priešintis, reikalavo grąžinti teises, tačiau bergždžiai. 1849 m. Žvyriuose, kur gyveno vokiečių amatininkai, prekiautojai ir dvarų tarnautojai, kairiajame Talkoto upelio krante pastatyta Skirsnemunės evangelikų liuteronų bažnyčia. Sovietmečiu buvo kolūkio centrinė gyvenvietė, veikė Kauno „Kaspino“ tekstilės ir galanterijos fabriko cechas. Dar 1970 m. turėjo miestelio statusą, tačiau vėliau jo neteko.
