Alexander Ankvab uppges ha retirerat till sin hemstad Gudauta, 40 kilometer bort, när samtalen med oppositionen bröt samman.
Många människor i den rysk-stödda regionen är missnöjda med den sjuka ekonomin och bristen på reformer.
Men Abchaziens nationalistiska känsla ger också näring åt oroligheterna.
Av Michael CecireUtrikespolitiska forskningsinstitut
Sotji-OS 2014 fakturerades som ett sätt att främja ekonomin genom att föra turismen till Abchazien eller köpa material för konstruktion, men den mest märkbara effekten var faktiskt en källa till frustration: den utvidgade säkerhetsspärren som trängde in bortom gränsen mellan Ryssland och Abchazien.
Vissa ekonomiska problem kan säkert tillskrivas den faktiska regeringen, men det är Ryssland som har den verkliga makten att förbättra förhållandena. Den Moskvafinansierade byggboomen i Tjetjenien har till exempel förbättrat de materiella förhållandena (även om de mänskliga rättigheterna fortfarande är ett stort problem), men inget jämförbart har hänt i Abchazien.
Oppositionens huvudfråga är emellertid Alexander Ankvabs mer liberala (relativt sett) politik gentemot etniska georgier i Abchazien. Han har förespråkat en mer fullständig integrering av dem och gett dem Abchaziens "medborgarskap". Oppositionen har målat detta som ett rent politiskt knep för att utvidga sin valbas och säga att det skulle kunna äventyra Abchaziens etniska Abchaziens identitet.
Analys: Unrest i Abchazien
Demonstranterna leds av Raul Khadzhimba, tidigare premiärminister och vice ordförande i Abchazien, som besegrades av Ankvab i valet i augusti 2011.
Svartahavskusten erkänns som en stat endast av Ryssland och några andra länder. Den bröt sig loss från Georgien efter ett inbördeskrig för mer än 20 år sedan och förklarade sig formellt oberoende 2008. Sedan dess har landet förlitat sig militärt och finansiellt på Ryssland.
Ryssland har enligt uppgift sänt två högre tjänstemän, presidentadid Vladislav Surkov och biträdande säkerhetsrådssekreterare Rashid Nurgaliyev, till Sukhumi som svar på krisen.
Oppositionens åsikt sägs vara delad mellan dem som vill att Abchazien ska förlita sig mindre på Ryssland och dem som i stället vill att landet ska bli en del av Ryssland.
Ankvab anklagade oppositionen för att göra en kupp i tisdags och sade att säkerhetsstyrkorna fortfarande var "lojala mot staten" och vidtog "åtgärder för att stabilisera situationen".
Raul Khadzhimba försvarade protesterna och sade: " Under alla år av sitt styre tillät presidenten inte någon i sin krets att utföra sitt arbete.
"Han tog på sig allas ansvar för deras räkning, vare sig han skulle eller inte skulle ha gjort detta. Det ledde till att vårt land faktiskt blev en auktoritär regim.
I ett uttalande sade det ryska utrikesdepartementet: "Den ryska sidan följer händelseutvecklingen noga och med oro... och anser det viktigt att sociopolitiska processer utvecklas uteslutande i enlighet med lagen."
Presidenten för den utbrytande georgiska regionen Abchazien sägs ha flytt från huvudstaden Sukhumi efter att oppositionsprotesterna tog hans ämbete.