Hoffman, 40, sänkte nio fåglar i en sju-under-par 65 för att leda före landsman William McGirt.
Lee Westwood är trea på tvåan, en före de andra engelsmännen Justin Rose, Andy Sullivan och Matt Fitzpatrick.
Nordirlands Rory McIlroy samlade tre sena fåglar i en 72, medan 2015 mästare Jordan Spieth kortade 75.
Englands regerande mästare Danny Willett började sitt försvar med en dubbel bogey och en bogey innan han slog tillbaka för att avsluta en-over par.
Den första Dustin Johnson drog ut på första tee efter att ha skadat ryggen när han halkade på trappan vid sitt hyreshus på onsdag.
Scoring förväntades bli tuff i Augusta med höga vindar prognostiserade att bli ännu starkare när öppningsdagen fortskred.
Och det visade sig vara fallet eftersom det blev en tydlig möjlighet att ingen spelare skulle skjuta under 70 i öppningsrundan för första gången på 60 år.
Men de svåra förhållandena visade sig vara ett litet hinder för McGirt och, i synnerhet, Hoffman, som var de enda spelarna som gjorde det.
Hoffman har bara tidigare gjort anspråk på en topp-25-finish vid en stor, bindning för nionde vid 2015 års Masters, men satt ihop en anmärkningsvärd runda.
Världens nummer 52 stängde de främre nio med två fåglar att flytta två-under, sedan slog de bakre nio med en fem-under 31 som inkluderade fyra raka fåglar.
Den kaliforniska nästan gjorde det fem på den sista, bara för att se en 16-fots putt falla plågsamt kort.
Ändå är hans fyra-shot bly den största första-rundan fördel i Augusta sedan 1941.
"Puntarna började gå i hålet - så enkelt som det låter", sade han.
"Jag fortsatte att slå mina fläckar och i vinden hamnade jag få 20 fot och jag fick några av dem längs sträckan."
McGirt, gör sin Masters debut, blev den första spelaren att bryta 70 med fyra fåglar och en bogey i en tre-under 69.
Den 37-årige från South Carolina har inte mycket tidigare stamtavla i de stora, efter att ha missat snittet vid US Open och The Open 2016 innan du tjänar en 10: e plats finish vid förra årets PGA Championship.
"Det var jävligt speciellt. När som helst att bryta 70 är häftigt, "sade McGirt, som rankas en plats under Hoffman på 53rd i världen.
"De få gånger jag kom hit för att spela i praktiken var vindriktningen densamma så det här var inte nytt för mig idag.
"Jag har turen att känna några medlemmar här och jag har pratat med några caddies och de har varit glada att dela med sig av sin kunskap till mig."
Försvarsmästare Willett ledde rekordet 11 engelska spelare med start i 93-starka fältet i Augusta, men fick en mardröm att börja sitt försvar med en dubbel bogey och en bogey i öppningen två hål.
Birdies på tre och tio, med sex på varandra följande pars smörgåsade i-mellan, stabiliserade Yorkshireman s scorecard och en superb örn på par-fem 13: e flyttade honom nivå par för första gången.
Men en bogey på 18: e knuffade honom tillbaka över par.
"Battling tillbaka från tre över även om det var platt och lugn runt denna plats skulle ha varit bra," sade värld nummer 17, som inte har vunnit en turnering sedan hävdar Green Jacket.
"Vi samlades efter förmodligen den värsta starten vi kunde ha önskat oss. En poäng på 73 verkade som en bra poäng."
När han för första gången återvände till scenen för sin största triumf, tillade han: " Minnena strömmade tillbaka. Att vara var som helst och försvara en titel är otroligt men att vara här på Augusta National är fantastiskt - åtminstone en gång i livet, men det skulle vara trevligt att göra det ett par gånger."
Willett blev den förste engelsmannen som vann mästarna på 20 år när han gjorde en översyn av Spieth för 12 månader sedan, och ett antal av hans landsmän är i nära strid när de försöker upprepa hans bedrift.
Fitzpatrick, 22-åringen från Sheffield, ledde för en kort period på tre-under innan en dubbel bogey på 18: e släppte honom tillbaka in i flocken också innehåller Sullivan och Rose.
Westwood, 43 år, rusade in på tredje plats med fem raka fåglar på den bakre halvan medan han fortsätter sitt sökande efter en första stor titel.
World nummer två McIlroy, 27, siktar på att bli bara den sjätte mannen att vinna alla fyra majors - vid sin tredje tid av försök i Augusta.
McIlroy söker en första Masters titel efter segrar på US Open, Open Championship och US PGA Championship.
Och, efter tre på varandra följande topp-10 slutar, har han gjort ingen hemlighet att slutligen vinna Green Jacket är hans främsta prioritet.
Den norra irländaren gjorde en klumpig start på sin öppningsrunda, dock, släppa tre skott utan att göra en fågel på den främre nio.
Gutsy par putts på 10, 11 och 12 förhindrade honom släppa ytterligare på driva, sätta plattformen för att dra sig tillbaka till nivå par med tre fåglar i de sista sex hålen.
"Efter nio hål om någon hade sagt att jag skulle skjuta ännu par Jag skulle ha slitit av deras hand," sade han.
Två gånger större vinnare Jordan Spieth hoppas på att förvisa minnen från förra årets spektakulära slutdag kollaps genom att vinna sina andra mästare.
Amerikanen, 23, leddes av fem skott när han närmade sig 10:e, bara för att dramatiskt släppa sex skott i tre hål - inklusive en fyrdubbla bogey sju på 12:e - och låta Englands Willett att dra nytta.
Han satte ihop en uppmuntrande första runda på torsdag tills en annan fyrdubbla bogey förstörde sitt kort, även om på tre över par han fortfarande är i strid.
Spieth var bland ledarna på väg in i Amen Corner, kommer genom den tuffa trion av 11, 12 och 13 oskadade.
Han hittade det gröna på den ikoniska par-tre 12th till stora jubel, sedan fågeln par-fem 13th att flytta in i en 13-man andel av ledningen på en under.
"Jag var lättad att se det ner och på det gröna", sade han om sin tee skott på 12. "Och jag antar att alla andra kände mer än jag gjorde på det."
Men hans öppningsdag utmaning bleknade snabbt som en bogey på 14: e följdes av en nio på par-fem 15: e.
Spieth's tillvägagångssätt fizzed tillbaka av grönt i vattnet och efter att ha tagit en straffdroppe, slog han sitt femte skott över ryggen, sedan slog ett fattigt chip innan han behövde tre putt från 30 fot.
"Det var trevligt att göra en trea vid 12 och sedan fyra på nästa," tillade han. "Jag trodde verkligen att vi hade det att gå dit och bara gjort ett klubbval misstag på 15 men vi är fortfarande i turneringen."
Belgiens Thomas Pieters - anses vara en av de stigande stjärnorna på den europeiska turnén - var en av de få spelare som lyckades tämja Augusta tidigt på torsdag.
Han flyttade in i en tidig fyra-shot bly på sin Masters debut, skramla i fem fåglar i hans öppning 10 hål.
Sen kom 22-åringen ur vägen i Amen Corner.
Han skrev på för sin första bogey i Augusta genom tre-putting den 11: e, men värre var snart att följa på den 12: e.
Pieters doppade sin tee-shot i Rae's Creek - vattenfaran som vaktar den smala gröna - innan han knackar på och behöver två putter för en dubbel bogey.
Och en annan dubbel bogey på sista släppa honom tillbaka till nivå par tillsammans med McIlroy, Irlands Shane Lowry, Englands Paul Casey och fyra gånger större vinnare Ernie Els.
Iain Carter, BBC:s golfkorrespondent i Augusta:
"Det här var en dag att inte spela sig ut ur mästarna.
"Idag kunde du inte vinna turneringen men du kunde förlora den.
"Alla spelare som har kämpat till runt par har hållit sig i det."
Ta reda på hur du kommer in i golf med vår speciella guide.
Unheralded American Charley Hoffman trotsade knepiga blusteri villkor att ta en fyra-shot ledning efter dag en av 2017 Masters på Augusta National.