Kommissionen för social rörlighet varnar för att många "förbandsfamiljer kör hårdare och hårdare men står stilla".
Det pekar på ett orättvist utbildningssystem, en arbetsmarknad på två nivåer, en regionalt obalanserad ekonomi och oöverkomliga bostäder.
Premiärminister Theresa May har lovat att ta itu med sociala orättvisor.
Kommissionens rapport State of the Nation 2016, som lades fram inför riksdagen på onsdag, säger att unga familjer nu inte längre kan förvänta sig att göra lika bra som sina föräldrars generation.
Det belyser att ägandet i hemmet minskar kraftigt, särskilt bland ungdomar.
Kommissionen uppmanar regeringen att åta sig att bygga tre miljoner bostäder under det kommande årtiondet och att utöka försäljningen av den offentliga sektorns mark för nya bostäder.
Det bör också möjliggöra målinriktad husbyggnad på grönbältesmark och ändra initiativet för starthem för att fokusera på hushåll med genomsnittliga inkomster.
Alan Milburn målar en deprimerande bekant bild av ett "dem och oss" Storbritannien delat längs fellinjer av rikedom och möjligheter.
Men slutsatsen i hans rapport - de flesta familjer gör nu värre saker än sina föräldrars generation - är häpnadsväckande.
Det innebär att den sociala rörligheten inte går bakåt, trots successiva försök att ta itu med den.
Fraser som: "Huge swaathes of Britain känner sig kvar" och: "Kycklingarna har nu kommit hem för att tuppa", peppra rapporten.
"Så många familjer kämpar för att klara sig, för att inte tala om att stiga upp", sade Milburn.
Han betonar att av de 65 delar av landet som hans kommission identifierat som "förkylningshärdar för social rörlighet", röstade endast tre för att stanna kvar i EU.
Herr Milburn, han har själv fördjupat sig i frågor som rör den sociala rörligheten i sex år och känner tydligt att landets stämning nu håller på att bli farlig.
Och med en nick till 1930-talets Europa sa han till reportrar: "Vi vet från vår egen kontinents historia, när människor känner att de förlorar orättvist, kan stämningen bli ful."
Kommissionen konstaterar att ett barn som bor i ett av Englands mest missgynnade områden löper 27 gånger större risk att gå i en otillräcklig skola än ett barn i de mest gynnade områdena.
Och ungdomar från låginkomsthushåll är en tredjedel mer benägna att hoppa av utbildningen än bättre klasskamrater med liknande GCSE.
I rapporten sägs att regeringen bör ha "som sitt centrala mål" att minska klyftan mellan fattigare barn och deras bättre klasskamrater under nästa årtionde med två tredjedelar.
Det uppmanar också regeringen att ompröva sina planer för fler grammatikskolor och fler akademier.
Enligt rapporten är grammatiken "i bästa fall en distraktion och i värsta fall en risk för insatser som syftar till att minska de betydande sociala och geografiska klyftor som bedevil Englands skolsystem".
I betänkandet konstateras en växande klyfta mellan generationerna, där man varnar för att de som föddes på 1980-talet är den första efterkrigstidens kohort som inte börjar sitt arbetsliv med högre löner än sina närmaste föregångare.
Det står att regeringen måste samarbeta med stora arbetsgivare, lokala råd och lokala näringslivspartnerskap för att ge högkvalitativa arbetstillfällen - som stöds av ekonomiska incitament - till Storbritanniens "förkylningsplatser" för social rörlighet.
I betänkandet uppmanas också till ett slut på oavlönade praktikplatser, där man hävdar att praktikplatser som varar i mer än fyra veckor bör betalas ut med minimilön.
Kommissionen säger att problemet inte bara är socialt utan även geografiskt, med en växande klyfta mellan de stora städerna - särskilt London - och de många städerna och länen som "lämnas bakom sig ekonomiskt och urholkat socialt".
Det sägs att antalet toppjobb i London har ökat med 700 000 under de senaste tio åren jämfört med strax under 56 000 i nordöstra England.
Rapporten varnar: " Den växande känslan av att vi har blivit ett samhälle för oss själva och dem - där några få orättvist samlar rikedom och makt - är djupt frätande för vår sammanhållning som samhälle.
"EU:s folkomröstning i juni i år avslöjade djupa klyftor som går långt bortom den låda som människor korsade.
"Offentlig oro - även ilska - om frågor om identitet, invandring och ojämlikhet fann en röst den 23 juni och ett mål att sikta på.
"Av de 65 delar av landet som vi identifierade som kalla områden för social rörlighet - de som har de fattigaste utbildnings- och sysselsättningsutsikterna - röstade bara tre områden kvar i EU."
Andra problem som tas upp i rapporten är följande:
Ordföranden för utskottet för social rörlighet, Alan Milburn, sade att stegpinnarna på stegen för social rörlighet växte längre isär.
"Det blir svårare för denna generation av kämpande familjer att flytta upp", sade han.
"Hela delar av samhället och hela traktater i Storbritannien känner sig kvarlämnade.
"Som resultatet av EU:s folkomröstning visade är stämningen hos allmänheten sur och beslutsfattarna har varit alldeles för långsamma för att svara."
Theresa May tog över som premiärminister i juli med ett löfte om att leda en "en nationsregering" som arbetade för alla, inte bara de "privilegierade få".
Milburn sade att kommissionen applåderade hennes beslutsamhet att främja sociala framsteg, men varnade för att detta var en "stor ambition" och borde vara den "heliga graalen" i den offentliga politiken.
En regeringstaleskvinna sade att ministrarna skulle överväga rekommendationerna i rapporten.
– Vi vill göra detta till ett land som fungerar för alla, inte bara de privilegierade få - vare sig det handlar om utbildning, jobb eller bostäder, det innebär att ge familjer mer kontroll över sina liv och göra mer för att hjälpa dem som bara klarar sig.
"Som premiärministern sade på stegen i Downing Street, denna regering är fast besluten att bekämpa orättvisor varhelst det uppstår och se till att alla i vårt land har möjlighet att gå så långt som deras talanger kommer att ta dem."
Shadow Education sekreterare Angela Rayner sade att rapporten bör göra "sobering läsning" för de konservativa.
"Sedan de kom till makten 2010 har vi sett vårt land gå bakåt på de framsteg labourregeringen gjort när det gäller social rörlighet", sade hon.
"Utbildningsklyftan mellan låginkomsttagare och deras rikare klasskamrater blir allt större, och dessa barn har fortfarande liten chans att gå in i högkvalificerade yrken.
"Och under Theresa May kan vi förvänta oss mer av samma sak: grammatikskolor för ett fåtal utvalda, överfulla klassrum för många."
Rapporten publicerades som en undersökning av 1 655 brittiska vuxna för kommissionen fann nästan hälften trodde att där människor hamnade i livet var främst ner till sin bakgrund och föräldraskap.
Färre än en tredjedel (29 %) av de tillfrågade trodde att Storbritannien var ett land där alla kunde komma så långt som deras talang och hårt arbete skulle ta dem.
En tredjedel av de tillfrågade sade att de inte kunde spara pengar varje månad.
Gå med i samtalet - hitta oss på Facebook
Medelinkomst och låginkomstfamiljer hålls tillbaka av ett "djupt problem med social rörlighet" i Storbritannien, varnar man i ett betänkande.