Chris Dents 100 av 111 bollar var ryggraden i Gloucestershires totalt 260.
Som svar, en 87-run fjärde-wicket monter mellan Johann Myburgh (81) och James Hildreth (48) hade värdarna på kurs tills sex wickets gick ner för 32.
Men Jamie Overton tog på sig 65 för den sista Wicket med Tim Groenewald som Somerset gjorde anspråk på seger på 263-9.
Overton gjorde 40 och Groenewald slog 34 i ett obrutet stativ på 65 av 49 bollar, den näst högsta 10-wicket stativ för att vinna en endagsmatch i England.
Efter att troféhållarna satt i fladdermöss av sina grannar, spelade Dent exceptionellt bra medan hans lagkamrater föll runt honom, nå tre siffror av 107 bollar innan de fångas på skydd av Groenewald.
Spinner Roelof van der Merwe spelade för hemmasidan, sprang ut Iain Cockbain samt avfärdade Benny Howell, Tom Smith och skålade Craig Miles av den sista bollen i Gloucestershires innings.
Besökarna minskade sina lokala rivaler till 15-2 när Adam Hose och Peter Trego föll billigt. Men de samlades bra tills Myburgh valde ut långt borta från Dent för att falla för 81 och börja en mellanordning implosion.
Lewis Gregory var då superbt kör ut och Hildreth fångades och bowlades av Smith i nästa om när Somerset föll från 166-3 till 198-9.
Men, med 63 fortfarande behövs för att vinna, Overton och Groenewald vägrade att gå ner utan en kamp i denna lokala derby, att hitta gränsen med lätthet.
De överlevde en nära miss när, med värdarna fortfarande behöver 13 off 3.1 overs, Wicketkeeper Gareth Roderick missade en gyllene möjlighet att köra ut sista mannen Groenewald.
Somerset slå One-Day Cup innehavare Gloucestershire av en wicket med bara tre bollar att spara på Taunton.