En golvsten tillägnad Larkin - som dog 1985 - kommer att ansluta sig till namnen på landets mest älskade poeter inklusive WH Auden, TS Eliot och William Wordsworth.
Den kommer att avtäckas den 2 december 2016, den 31:a årsdagen av Larkins död.
Den sista poeten som hedrades var Ted Hughes 2011.
Med dikter som The Whitsun Weddings and This Be The Verse - som innehåller hans berömda musses på "din mamma och pappa" - betraktas Larkin allmänt som en av Storbritanniens finaste 20th Century poeter.
Beslutet att hedra honom fattades av dekanen av Westminster, Very Rev Dr John Hall.
"Philip Larkin är en av 1900-talets stora poeter på engelska och det har pressats på mig av ett antal av hans kollegor och vänner att det är rätt tid att minnas honom," Dr Hall berättade BBC.
Prof Edwin Dawes, som är ordförande för Philip Larkin Society, sade att Larkins ord citerades oftare än hans poetiska samtidas.
"Minnesminnet av Philip Larkin i Poets' Corner kommer att varmt välkomnas av hans många beundrare i alla samhällsskikt", sade han.
"Vi är glada över att Larkin 2016 kommer att inta sin plats i nationens kulturella hjärta, i Westminster Abbey bland Storbritanniens största författare."
Född 1922 i Coventry, Larkin studerade i Oxford och lät publicera sina första dikter 1940.
Han tillträdde som bibliotekarie vid universitetet i Hull 1955 och publicerade samma år sin hyllade samling The Less Deceived.  Hans senaste samling High Windows publicerades 1974.
I december 1984, ett år innan han dog av cancer, erbjöds han chansen att efterträda Sir John Betjeman som Poet Laureate men avböjde, att vara ovillig att acceptera postens höga offentliga profil.
Den postuma publikationen av Larkins brev gav en ofta outsäglig inblick i hans inre liv och ledde till anklagelser om rasism och kvinnohat.
Trots glappet till hans rykte, 2003 Larkin valdes till nationens mest älskade poet de senaste 50 åren, i en undersökning av Poesi Book Society.
Poets' Corner etablerades i Westminster Abbey efter att Geoffrey Chaucers kvarlevor var inbäddade i en grav där 1556.
Philip Larkin ska hedras med ett minnesmärke i Poets' Corner i Westminster Abbey.