Han sade till parlamentarikerna att Storbritannien aldrig skulle bli en världsberömd ekonomi om inte ungdomarna var bättre utbildade.
Och han kallade på "mycket större devolution till de människor som vet var de [falska] skolorna är".
När det gäller att förbättra läs- och skrivkunnighet och räknekunnighet tillade han: "Vi behöver det över hela landet och vi behöver det i går."
Den konservativa storhertigen, som var vice premiärminister på 1990-talet och sedan gav David Cameron råd om regional strategi, gjorde kommentarerna när han gav bevis till Commons Business Innovation och Skills Committee tillsammans med tidigare kansler George Osborne.
Att hävda att Storbritannien är "29:e som land i världsligan för utbildning" - det var 23:e i läsning 2015, enligt OECD:s Pisa ranking och 26:e i matematik - han betonade: "Om vi accepterar att - vi kommer aldrig att bli en världsbrying ekonomi i framtiden eftersom det handlar om människor - det handlar om utbildning och sedan om färdigheter.
"Och om du vill ha skickliga människor, bör du utbilda dem ordentligt innan du börjar göra dem skickliga."
Lord Heseltine, vars ledarskapsutmaning bidrog till att utlösa Margaret Thatchers avgång från Downing Street 1990, sade att standarder måste fastställas av en strategisk kommission, ledd av premiärministern "som är relevanta för de bästa i världen och inte den 29:e".
"Om jag kunde utforma en industristrategi skulle det börja i grundskolorna", sade han, och tillade att omkring en fjärdedel av barnen som lämnar grundskolorna är "ofruktsamma och oräkneliga" av moderna anställningsstandarder.
"Min egen uppfattning är tydlig - det måste finnas en mycket större devolution till de människor som vet var dessa skolor är och de känner de människor som driver dem och de vet var de otillräckliga resultaten kommer ifrån - i min personliga livserfarenhet: visa mig problemet, visa mig den ansvarige."
Lord Heseltine citerade en framgångssaga - Northamptonshires "Race to the top"-initiativ - som syftar till att göra Northamptonshire till ett av de mest framstående länen för utbildning 2020.
"Vi tillbringar mycket tid med att diskutera teorierna om utbildning och utbildningsstrukturer, men vad vi vill ha är bra huvudlärare", sade han.
"Var du än går i detta land finns det en kompetensbrist - det är ett allvarligt problem inför expansionen av ekonomin och det är en mycket centraliserad process - inte decentraliserat i den omfattning som det skulle tyckas mig återspegla marknadsmöjligheterna."
Lord Heseltine säger att Storbritanniens kompetensbrist är ett allvarligt problem - och om det var upp till honom skulle han starta en industristrategi i grundskolan.