Biblioteka posjeduje dugu i burnu istoriju koja počinje posle završetka Prvog svjetskog rata, 1919. godine, u Bijeljini kada je osnovano Društvo za čuvanje narodnog zdravlja, a 1921. godine Društvo za narodno prosvjećivanje. Pošto su ih vodili skoro isti ljudi, ta dva društva su se, 1928. godine ujedinila u Društvo za narodno prosvjećivanje i čuvanje narodnog zdravlja. Na redovnoj godišnjoj skupštini  25. februara 1934. Godine, donijeta je odluka o promjeni imena Društva u Prosvjetno društvo „Filip Višnjić“, povodom obilježavanja stogodišnjice smrti velikog narodnog pjesnika i guslara.

Polazeći od stanovišta da je knjiga neophodan i nezamjenjiv faktor u kulturnom uzdizanju, Društvo je odlučilo da svoje djelatnost obogati i jednim novim vidom i na taj način popuni osjetnu prazninu. Naime, Bijeljina tada nije imala javnu biblioteku iako se za njom osjećala velika potreba.

Na samom početku društvo se susrelo sa veoma važnim problemom – problem prostorija. Društvo ih nije imalo usled čega je bilo primorano da svoje sjednice i sastanke održava u ustupljenim prostorijama pojedinih škola. Namjera Društva je bila da “Knjižnica” bude po mogućnosti u samom centru grada, što bi još više doprinijelo napretku Društva i porastu broja članova. Neočekivano se ukazala mogućnost da se dođe do željenih prostorija za Gradsku knjižnicu baš u zgradi Opštine i na taj način riješi jedan od najvažnijih i najtežih problema. 

Gradska knjižnica i čitaonica svečano su otvorene 20. novembra 1932. godine, što je predstavljalo značajan kulturni događaj.

Krajem prve godine postojanja i rada (1933), Knjižnica je imala 5.782 knjiga. Od osnivanja Centralne knjižnice u Bijeljini i njenih ogranaka po selima 20. novembra 1932. godine do 1939. godine broj čitalaca kretao se od 690 do 1.245 mjesečno i dostigao je broj 6.520 čitalaca.

S obzirom na ono čime se raspolagalo , Knjižnica je postigla veliki uspjeh već u prvoj godini svog rada. 

Centralna knjižnica u Bijeljini imala je 682 čitaoca, koji su pročitali 11.851 knjigu što znači u prosjeku mjesečno 986 knjiga.  Iz navedenog proizilazi da je svaki petnaesti stanovnik Bijeljine bio čitalac Gradske biblioteke. Smatrana jednom od najbogatijih i najuređenijih  među svih 2.000 biblioteka, koliko ih je bilo u Jugoslaviji.

Akcije protiv društva i njegove knjižnice

Decembra 1933. godine mnogo čitalaca je napustilo Knjižnicu, jer je došlo do toga da se uhodilo šta je ko čitao i na osnovu toga ispitivalo se uvjerenje pojedinaca. 

Vlasti u Bijeljini, još od atentata ministra Draškovića 1921. godine, budno su pazile na djelovanje komunista, posebno nakon povratka Rodoljuba Čolakovića sa robije 1932. godine. Pod prismotrom vlasti bio je i rad Društva, a 31. decembra  1936. godine izvršen je istovremeni pretres u prostorijama Društva „Filip Višnjić“. 

Nešto kasnije, 1938. godine, Društvu „Filip Višnjić“ i njegovoj knjižnici i čitaonici biće zabranjen rad s motivacijom da su postali „leglo komunističke propagade“, ali pod pritiskom napredne javnosti, rad društva je ponovo odobren 1939. godine. 

Po izbijanju rata marta 1941. godine knjižnica je zatvorena. Nakon toga Knjižnica je dva puta bila izložena nasilnom otvaranju zbog odluke okupacione vlasti (njemačke i ustaške) da spale sve knjige pisane ćirilicom. Zauzimanjem potpretsednika dr Perendije, kod koga su do marta 1944. godine bili ključevi knjižnice, kao i nekih građana, to spaljivanje je bilo spriječeno, jer su se vlasti zadovoljile da Društvo pošalje popis knjiga i prepis Pravila, ali i to je izbjegnuto da se učini. 

Marta 1944. godine u Knjižnicu se uselila njemačka Mjesna komanda. Nakon toga knjižnica je pretvorena u kancelariju Elektrane, a potom Školskog nadzonništva. 

Nema tačan podatak o tome kada je Knjižnica otvorena, ali se predpostavlja da je to bilo početkom 1946. godine. Tako je Knjižnica u Bijeljini nakon oslobođenja krenula u svoj „drugi život“.

Prema podacima kojima raspolažemo, u martu 1952. godine Knjižnica dobija ime Gradska Narodna biblioteka „Filip Višnjić“, a čitaonica Gradska narodna čitaonica. Međutim, šest godina nakon što je dobila ime Gradska Narodna biblioteka „Filip Višnjić“ dobija nešto izmjenjeno ime, te se od 1958. godine  zove Narodna biblioteka „Filip Višnjić“ i to ime ostaće i do dana danas.

Sa povećanjem knjižnog fonda i ukupnih aktivnosti biblioteke rad u prostorijama u zgradi opštine bio je sve teži, te se novembra 1966. Godine donosi odluka o izgradnji Spomen-biblioteke “Filip Višnjić” u Bijeljini, koja je usvojena na opštinskoj skupštini jula 1976. Godine.

Za idejno rješenje projekta prispjelo je 26 radova, a prvu nagradu dobio je arh. Hamdija Salihović, professor Arhitektonskog fakulteta u Sarajevu. Rad na izgradnji novog objekta počeo je u septembru 1979. Godine, a preseljenje u novu zgradu počelo je u maju 1982. Godine.

Tako je počeo rad u novoj zgradi Biblioteke, koju danas mi koristimo i koja, kako je Rodoljub Čolaković govorio, bila  žarište kulture ovoga grada. Njenim otvaranjem  ostvaren san mnogih  entuzijasta  u radu  ove ustanove.

Od 1983. Godine Narodna biblioteka “Filip Višnjić” uvela je proslavljanje svog dana. Tako je 20. Novembar, datum na koji je 1932. Godine svečano otvorena, proglašen Danom Biblioteke.

Interesantno je pomenuti  činjenicu da su Biblioteku posjetili student iz Gvineje, Nigerije i  Sudana u februaru 1961. godine.

Koliko je Bijeljina imala bogat sadržaj kulturnih aktivnosti , može se vidjeti  po posjetama velikog broja umjetnika, književnih kritičara, naučnih i kulturnih radnika koji su ostavili veliki trag u našoj istoriji, kao npr:  Ivo Andrić, Desanka Maksimović, Brano Ćopić, Rodoljub Čolaković, Oskar Davičo, Jara Ribnikar i mnoge druge ličnosti.   

Nemoguće je pomenuti sve ljude koji su dali veliki doprinos stvaranju Gradske biblioteke, ali treba posebno izdvojiti  ljude čiji je doprinos bio najveći, radni staž u Društvu najduži, koji su nosili cio teret Društva, koji su dali sebe, svoje znanje i svoju ljubav prema ovom kraju, prosveti i kulturi, ljudi koje Bijeljina ne smije da zaboravi:  Dr. Vojislav Kecmanović Đedo, Dr. Joakim Perendija, Nikola Mačkić i Mihailo Mika Bogdanović.