Mediauppspelning stöds inte på den här enheten
Åttonde-tier Taunton spelade sin nionde match i säsongens tävling och var den lägsta-rankade sidan kvar efter Westfields utgång på måndag.
Centre-halva Ed Palmer drog dem nivå med en superb fri-kick i 73: e minuten, avbryta ut en fin 48: e-minutersöppnare av Barrow ytter Williams.
Men värdarna gick tillbaka i fronten inom två minuter när ett Ryan Yates kors verkade avledas i sitt eget nät av Josh Searle, och det var tillräckligt för att skicka National League sida i den andra omgången för första gången sedan 2012/13.
Taunton frustrerade värdarna i första halvan, med Barrow försvarare Nick Anderton och Danny Livesey båda har headers rensat av linjen i snabb följd.
Williams sköt sedan brett medan Palmer fick en frikick avböjd.
Men Williams fastnade sedan på ett dåligt avstånd för att skära in och kränga en superb högerfotad ansträngning i övre hörnet från 20 meter.
Palmer bedövade hemmapubliken genom att rulla in en 20-yards frispark i övre hörnet.
Men Barrow återställde snart sin ledning och väktare Lloyd Irish förhindrade Ross Hannah, Richie Bennett och Williams att göra segern mer eftertrycklig.
Rapport från pressorganisationen
Matchen slutar, Barrow 2, Taunton Town 1.
Andra halvlek, Barrow 2, Taunton Town 1.
Ed Palmer (Taunton Town) visas det gula kortet.
Försöket räddades. Jordan Williams (Barrow) höger fotade skott från utsidan boxen sparas i mitten av målet.
Foul av Alex-Ray Harvey (Barrow).
Adam Kelly (Taunton Town) vinner en frispark i anfallshalvan.
Myles Anderson (Barrow) vinner en frispark i anfallshalvan.
Foul av Matthew Wright (Tauntonstaden).
Försöket räddades. Richard Bennett (Barrow) huvud från mitten av rutan sparas i toppen av målet.
Hörnet, Barrow. Förföljd av Matt Villis.
Försöket räddades. Ross Hannah (Barrow) vänster fotade skott från utsidan boxen sparas i nedre vänstra hörnet.
Matt Buse (Taunton Town) visas det gula kortet för en dålig foul.
Liam Hughes (Barrow) vinner en frispark i anfallshalvan.
Foul av Matt Buse (Tauntonstaden).
Jordan Williams (Barrow) vinner en frispark i anfallshalvan.
Foul av Matthew Wright (Tauntonstaden).
Försök missade. Ross Hannah (Barrow) vänster fotade skott från vänster sida av lådan är nära, men missar till vänster.
Substitution, Taunton Town. Matt Buse ersätter Brett Trowbridge.
Alex-Ray Harvey (Barrow) vinner en frispark på högerkanten.
Foul av Shane White (Taunton Town).
Hörnet, Taunton Town. Förföljd av Nick Wilmer-Anderton.
Mål!  Barrow 2, Taunton stad 1. Ryan Yates (Barrow) vänster fotade skott från lång räckvidd på höger till nedre vänstra hörnet. Hjälpt av Shaun Beeley.
Mål!  Barrow 1, Taunton stad 1. Ed Palmer (Taunton Town) från en frispark med en högerfotad skott till övre högra hörnet.
Foul av Shaun Beeley (Barrow).
Ed Palmer (Taunton Town) vinner en frispark i anfallshalvan.
Hörnet, Taunton Town. Förföljd av Myles Anderson.
Försök blockerat. Ross Hannah (Barrow) vänster fotade skott utanför lådan är blockerad.
Substitution, Taunton Town. Adam Kelly ersätter Ollie Chamberlain.
Handboll av Shane White (Taunton Town).
Försöket räddades. Ryan Yates (Barrow) höger fotade skott från utsidan rutan sparas i nedre vänstra hörnet.
Owen Irish (Taunton Town) visas det gula kortet för en dålig foul.
Jordan Williams (Barrow) vinner en frispark på högerkanten.
Foul av Owen Irish (Taunton Town).
Shane White (Taunton Town) visas det gula kortet för en dålig foul.
Ryan Yates (Barrow) vinner en frispark på höger vinge.
Foul av Shane White (Taunton Town).
Shaun Beeley (Barrow) vinner en frispark i anfallshalvan.
Foul av Matthew Wright (Tauntonstaden).
Substitution, Taunton Town. Craig Kal ersätter Jordan Rogers.
Hörnet, Barrow. Förföljd av Lloyd Irish.
Winger Jordan Williams hjälpte till att avsluta Tauntons FA Cup-äventyr när Barrow vann seger i sin första omgången repris på Holker Street.