Današnja zgrada Skupštine opštine, po kojoj je grad vizuelno najviše prepoznatljiv, građena je 1908. i 1909. godnne po projektu, za sada još nepoznatog, inženjera iz Zemaljske vlade u Sarajevu. Dvije godine trajala je izgradnja, a 1910. godine, u rano proljeće, zgrada je bila useljiva. Ovaj građevinski objekat bijeljinske arhitekture pripada neoklasicističkom stilu. Još tada, kad je objekat izgrađen, dvije velike prizemne prostorije ove zgrade na desnom i lijevom krilu, nisu služili opštinskoj administraciji, nego potrebama privrede i kulture. I dok se u lijevom krilu zgrade, gdje se nalazila Galerija "Milenko Atanacković", poslovni prostor upotrebljavao u višestrukim namjenama, u zavisnosti od prilika, (trgovina, knjižara, biblioteka), prostor u prizemlju zgrade sa desne strane oduvijek je bio  kafana. A to je više od osam decenija, sve do 1992. godine kada je prostor ustupljen administraciji.

Taj prostor bivše Velike kafane decenijama je bio sastajalište Bijeljinaca i Semberaca, pa je tako sa trgom ispred opštinske zgrade, Velika kafana ušla i u književno djelo Dušana Baranina u romanu "Njih troje" čija se radnja dešava u Semberiji.

Ranije, poslije ujedinjenja 1918. godine, ova kafana je, može se reći, ušla i u istoriju grada, jer je tu bio organizovan doček Srpske ujediniteljske vojske prilikom ulaska u Bijeljinu. U Ljetopisu Komunalne škole, koji je vodio upravitelj škole Nikola St. Jovanović, zapisano je, između ostaloga, i ovo: "Šestog novembra 1918. godine došao je puk Srpske vojske pod komandom potpukovnika Zagorčića, te noćio ovdje i dočekana je vojska od svega naroda sa silnim oduševljenjem. Naročito je palo u oči kako vojnici građansku djecu ljube i meću ih na topove i na konje, a djeca i građani zovu svakog svojoj kući da ga počaste. Građani su sav Zbor oficira pogostili sjajno u općinskoj kafani. Dirljiv govor održao je školski nadzornik Stevo Nikolić, pozdravivši srpsku vojsku i Bele orlove. Na to mu je lijepo se zahvalio potpukovnik Zagorčić, a glavno je da je izrekao da su oni došli da oslobode svoju braću i da im donesu luč slobode i jednakosti".

U proteklom periodu, u strukturi ugostiteljstva grada bez Velike kafane, na osnovu iskustva, može se sa sigurnošću tvrditi da se pogriješilo u promjeni namjene prostorija u kojima je nekada bila kafana. Pogriješilo se i sada kao u ranijem slučaju Hotela "Drina" kad je porušen. Veliku kafanu, simbol grada Bijeljine, to tradicionalno sastajalište Bijeljinaca i Semberaca, trebalo je sačuvati u funkciji koju je u prošlosti, od izgradnje objekta, sve vrijeme imala. U toj kafani sve je bilo prepoznatljivo u svojoj funkciji i tradiciji: stolovi i stolice, staromodni dobro očuvani šank i lusteri, zavjese na prozorima, karambol sala u desnoj prostoriji, sa danonoćnim igračima i kibicerima, koji su sa tri kugle na zelenoj čohi iskušavali svoje majstorstvo u poznavanju kretanja kugli pomoću udarca štapom.

Velika kafana je imala svoj uobičajeni red i sve se znalo: ko u nju može navratiti, ko može ući u prostorije i gdje sjedjeti, šta pije itd. Sve je imalo svoj nepisani kućni red, jer je o tome brižno vodio računa šef Velike kafane Meho Salihović Arap, iskusni ugostitelj, koji je ovdje dugo vremena radio i odavde je otišao u penziju. Ovdje su gosti posluživani crnom kafom, bezalkoholnim i alkoholnim pićima, a pijanim, nepunoljetnim i nedisciplinovanim rijetkim gostima ulaz je bio zabranjen. Nisu pokušavali da uđu ni za trenutak. Ovdje je svraćala gradska odabrana inteligencija, privrednici i trgovci, službenici, a pazarnim danima i brojni poljoprivrednici iz semberskih sela. Tu su se kreirali i zaključivali mnogi poslovi između raznih brojnih partnera i stranaka. Stalni gosti, međutim, od ranih jutarnjih časova bili su brojni bijeljinski penzioneri koji su ovdje čitali raznu dnevnu štampu, međusobno se družili i skraćivali dosadu i jednoličnost penzionerskog života. U kafani je bilo više dnevne štampe koja je bila postavljena na specijalnim držačima štampe.

Ovdje, u Velikoj kafani, pored Mehe Arapa, radilo je još ugostitelja, ali on je ostao kao sinonim ove kafane u svijesti Bijeljinaca. Ovaj nadimak mu je istinski odgovarao, jer on je stvarno bio - Arap i čovjek arapske krvi. Bio je veoma markantna ličnost, mrke kovrdžave kose, krupnih debelih usana i crne puti. U antropološkom pogledu bio je pravi Arap, čiji su preci porijeklom iz nekog mjesta iz Arabije, pa su mu roditelji krajem 19. vijeka iz Ulcinja došli u Bijeljinu, a u Ulcinj sa nekim našim ljudima Crnogrcima koji su radili na prokopavanju Sueckog kanala. Naši ljudi, poslije završetka kanala, u povratku u zavičaj, poveli su sa sobom i više arapskih porodica čiji potomci i danas žive u Ulcinju. Jedna takva porodica živjela je u Bijeljini i potpuno se stopila sa ljudima iz ovog kraja.

Ono što čini danas Veliku kafanu nezaboravnom i pamtljivom u sjećanjima su nekadašnji njeni gosti: profesori, zanatlije, advokati, službenici, sportisti i dr. Bilo je među njima i pravih boema koji su davali glavni ton toj kafani. Neki su dolazili u kafanu radi posluženja dobrom crnom kafom, drugi radi štampe, neki da vide prijatelje i obave razgovore sa njima. To ćaskanje nije imalo ni početka ni kraja. Tih poznatih imena nema više među živima jer su pomrli neki ranije ili kasnije, ali su o njima ostale brojne priče i "liskaluci", anegdote i događaji. Nešto od tih priča se zaboravilo sa protokom vremena, a nešto se sačuvalo i preraslo u legende i danas čini svojevrsni imidž grada i sredine. Ali je važno da bijeljinske "liske" i "liskaluci" i danas žive u pričama i sjećanjima Bijeljinaca, uglavnom starijih koji su ih zapamtili. Svi ti "liskaluci" starih Bijeljinaca dešavali su se najčešće u Hotelu "Drina", ili su bili vezani za njega, a kasnije i u Velikoj kafani gdje su najčešće pričani.