I vakthundens årsrapport om utbildningsstandarder sägs det att ungefär en tredjedel av gymnasierna i Nord- och Midlands-länderna inte är tillräckligt bra.
Ofsted chef Sir Michael Wilshaw säger att mer uppmärksamhet måste fokuseras på regioner där alltför många skolor "försmäktar i medelmåttighet".
Utbildningssekreterare Nicky Morgan sa att mer behövde göras för att "tackla fickor av underprestation".
Skolinspektören varnar för skolor i vissa städer i Nord- och Midlandsländerna som "olyckligtvis har misslyckats år efter år efter år".
Avvikande årsredovisning 2015
Sir Michael nämnde 16 svaga lokala myndigheter - där mindre än 60 % av barnen går i bra eller framstående skolor och har under genomsnittet "uppnåelse och framsteg" vid GCSE - med 13 i norra och Midlands.
De är Barnsley, Blackpool, Bradford, Derbyshire, Doncaster, Hartlepool, Knowsley, Liverpool, Middlesbrough, Oldham, Salford, St Helens och Stoke på Trent.
De andra tre är Isle of Wight, Swindon och South Gloucestershire.
I Bradford sade Sir Michael att problemen var så allvarliga att han ville ha en undersökningskommission och en separat kommissionär för utbildning.
Och han varnade för att dålig utbildning innebar att ungdomar kunde alieneras och att "riskerna med att bli alienerad från det brittiska samhället verkligen är mycket stora".
Allt större uppmärksamhet ägnas åt den geografi som präglar underprestationer i skolan, t.ex. i kustområden och regionala skillnader.
I betänkandet framhävs oron för ett glapp mellan nord och syd - med starkare GCSE-resultat i London och Syd och svagare resultat i delar av Nord och Midlands.
"Det här gapet är oroande. Vi vill inte se ett delat land efter 11 års ålder, sade Sir Michael.
Mer än 400.000 elever i norra och Midlands går i en skola som är "mindre än bra", och Ofsted chefen sade att detta inte kunde "förklaras bort" av högre nivåer av fattigdom.
Grundskolorna var mycket mer framgångsrika än gymnasieskolorna, sade Sir Michael, trots liknande problem med sociala nackdelar.
Han använde också Londons exempel för att visa hur fattigdom inte oundvikligen behöver kopplas till lägre resultat.
Sir Michael efterlyste större "politisk vilja" och mer uppmärksamhet för att förbättra undervisningens kvalitet.
"Vi har sett en betydande skillnad i kvaliteten på undervisningen mellan söder och Midlands och norr, en betydande skillnad när det gäller kvaliteten på ledarskap... och vi måste oroa oss för detta som en nation", sade han.
"Mediokerheten i sekundära prestationer bör vara ett nationellt problem - och medelmåttigheten är huvudsakligen, men inte uteslutande, bosatt i Midlands och norra England.
"Om det "norra kraftverket" kommer att betyda något, då måste vi förbättra utbildningsresultaten i våra gymnasier norr om Wash."
Sir Michael varnade också för att problemen förvärrades av svårigheter att rekrytera lärare - och att skolor i utmanande områden kunde ha den svåraste tiden att hitta tillräckligt många lärare i vissa ämnen.
Rekryteringsproblemen hade en "betydande inverkan", sade Ofsted chef.
Bevakad, en webbplats som samlar in inspektionsdata, rankar lokala myndigheter när det gäller andelen skolor som klassas som "utstående" eller "goda".
De tio lägsta på gymnasienivå omfattar nordliga myndigheter som Knowsley, Bradford, Oldham, Blackpool och Doncaster - men också Isle of Wight och Cambridgeshire.
Åtta av de tio högsta myndigheterna på sekundär nivå finns i London eller Sydöst.
"Mer och mer ser vi att skolor som står inför de största utmaningarna nu ligger i kust- och marknadsstäder snarare än i stora städer. Och barn från låginkomstfamiljer har de största hindren, säger James Westhead, verkställande direktör för Teach First.
De flesta gymnasier i England har nu akademisk status - men årsrapporten säger att när det gäller att höja standarden "strukturreformer kan bara göra så mycket".
Och det belyser att en akademi inte "isolerar" skolor från nedgång, med 99 akademier som hade varit bra eller enastående omgraderas som mindre än bra.
Roy Perry, ordförande för barn- och ungdomsstyrelsen i kommunförbundet, sade rankningsråd efter skolresultat "försämrar det faktum att över 60 % av gymnasierna nu är akademier, vilket gör råd maktlösa att ingripa tidigt och bygga upp ett förbättringsprogram".
"Det är oerhört oroande att bara 37 % av gymnasierna under de senaste tre åren faktiskt har förbättrat sina betyg efter att ha blivit akademier."
I Ofsted-rapporten betonas också att elevernas framsteg fram till slutet av primärskolan alltför ofta inte kan upprätthållas när de flyttar till sekundärskolan.
Detta avslöjades förra månaden i en analys av sommarens GCSE resultat, av utbildnings dataföretag, SchoolDash.
Detta kartlade den växande klyftan mellan nord och syd på GCSE-nivå, men visade också att det fanns mycket mindre klyftor i grundskolan.
Ledare för huvudlärare Brian Lightman kopplade den nord-sydliga klyftan till de "mycket allvarliga svårigheter" som skolorna ställdes inför när de rekryterade lärare.
John Lightman, chef för ASCL:s lärarförbund, sade att skolor i utmanande områden tyckte att det var "otroligt svårt" att hitta lärare i vissa bristämnen, särskilt när det gäller skolor i vissa delar av norr.
Russell Hobby, ledare för National Association of Head Teachers, sade att klyftan mellan primär och sekundär prestation hade "drivits av turbulens på sekundär jämfört med primär", såsom omvälvningar i examen och läroplan.
Utbildningsminister Nicky Morgan sa: "Mer behöver göras för att leverera utbildning excellens överallt."
"Det är därför vi inför nya åtgärder för att omvandla misslyckade och kustnära skolor, finansiera de bästa akademikedjorna för att dela spetskompetens i kämpande regioner i norr och skapa en nationell undervisningstjänst - skicka några av våra bästa lärare till de områden som behöver dem mest."
Ofsted varnar för en nord-sydlig splittring i Englands gymnasier.