Putnam Countys vice sheriffer tror att småbarnen förmodligen gick ihop för att arbeta pedalerna och styra hjulet innan krascha det i ett dike.
Paret klarade sig fyra kilometer längs vägen och lyckades navigera flera varv.
De blev inte skadade, men myndigheterna väger anklagelser mot modern.
De hade tagit sin mammas 2005 Ford Focus efter att ha hittat nycklarna i golvmattan medan de spelade på gården.
Myndigheterna tror att de försökte nå sin farfars gård men kraschade 8 km kort i staden Röda huset.
"Lyckligtvis, de inte passera någon eftersom de skulle förmodligen ha haft ett vrak innan då," sade Putnam County Sheriff Steve Deweese.
Mr Deweese berättade för WSAZ-TV att sheriffkontoret arbetar med länsåklagaren och barnskyddsverket för att avgöra om modern ska åtalas för något brott.
Två bröder i åldern fem och två stal sin mors bil och förstörde den på en biltur till sin farfars hus, säger myndigheterna i West Virginia.