65-åringen sa att han skulle "fela det fruktansvärt" men det kommer alltid en punkt när saker och ting måste ta slut.
Sir Eric tjänstgjorde också som sekreterare för kommuner och kommuner mellan 2010 och 2015.
Han är en av flera högprofilerade parlamentsledamöter som står still, inklusive George Osborne och Alan Johnson.
Premiärminister Theresa May meddelade på tisdagen att hon avsåg att kalla en snabb allmänna val, ett drag som stöddes av parlamentsledamöter följande dag. Valet äger rum den 8 juni.
Labour MP för Nottingham North Graham Allen meddelade också på lördagen att han ska avgå som en MP, på grund av dålig hälsa.
Sir Eric talade med BBC och sade: "Jag tycker att det är bättre att gå när folk frågar varför man åker, snarare än varför man stannar.
"Jag hade alltid beslutat att detta skulle bli mitt sista parlament efter 25 år och kom fram till att det var dags för Brentwood och Ongar att ha en ny riksdagsledamot."
Han sade att han hade berättat för May om sitt beslut och skrev på Twitter att han skulle fortsätta i sin roll som premiärministerns särskilda sändebud i post-Förintelsefrågor.
Vilka parlamentsledamöter slutar - och vem kan stå upp?
I ett brev som skickades till hans lokala konservativa sammanslutning skrev Sir Eric: " Det har varit en enorm ära att representera valkretsen i 25 år; Brentwood och Ongar är en underbar plats att bo på.
"Under detta kvartssekel har jag haft framgång och vissa bakslag, men jag har alltid hållit fast vid vänskapen hemma."
Han tillade att han var tacksam för inbjudan att tjäna ytterligare fem år, men att han efter "mycket hjärtsökande" hade kommit fram till att det var "rätt tid för Brentwood och Ongar att ha en ny representant i Westminster".
Sir Eric, som föddes i Yorkshire i en arbetarfamilj, anslöt sig till Keighley Young Conservative 1968 och blev sedan ordförande. Han blev riddad 2015.
Tidigare EU-skeptiker gick han 2016 med i gruppen konservativa parlamentsledamöter som stödde kampanjen för att stanna kvar i EU under David Camerons omförhandlingar.
Sir Eric var ansvarig för Localism Act från 2011 som förändrade de lokala myndigheternas befogenheter i England.
De åtgärder som lagen innebär omfattar fler valda borgmästare och folkomröstningar.
Sir Eric Pickles, den tidigare konservativa partiordföranden, har meddelat att han avgår som Brentwood och Ongars parlamentsledamot efter 25 år.