Labour led stora förluster i händerna på SNP, med Tories trotsar opinionsundersökningar för att säkra en House of Commons majoritet.
I ett tal i London sade Miliband att det var "dags för någon annan" att ta över ledarskapet och att han var "helt ledsen" att han inte lyckades.
Skuggkansler Ed Balls var bland partiets stora offer.
Den förlorade också sin valkampanjchef Douglas Alexander och sin ledare i Skottland Jim Murphy.
Miliband hyllades av personalen när han anlände till Labours högkvarter i centrala London.
Han bekräftade att biträdande ledare Harriet Harman skulle bli tillfällig ledare.
"Jag gick med i denna fest i åldern 17," sade han. "Jag drömde aldrig att jag skulle leda det."
Han kan ha tjänstgjort i Gordon Browns kabinett, men få människor utanför politiken hade hört talas om Ed Miliband innan han valdes till ledare för Labourpartiet 2010, en tjänst som han nu har avstått från i kölvattnet av Labours valnederlag.
Han hade tillbringat mycket av de första 40 åren av sitt liv i skuggan av sin äldre bror David, den tidigare utrikesministern.
Han gjorde samma kurs - filosofi, politik och ekonomi - vid Oxford University, vid samma högskola, och följde David in i en liknande bakgrundsroll i Labourpartiet, om än på olika sidor av Tony Blair/Gordon Brown-klyftan. De två bodde till och med i angränsande lägenheter i samma byggnad ett tag.
I sin helhet: Ed Miliband Story
Han skämtade om att han skulle tillbringa sin tid "att lära känna" sig själv med sin fru och sina barn, tackade allmänheten för "selfies" och - i en hänvisning till en online-trend av tonårsfans - "den mest osannolika kulten i 2000-talet - milifandom".
Miliband sade att han hade gjort sitt bästa i fem år och att det var "inte bara ledarskapet som åstadkommer förändring".
"Jag kommer aldrig att ge upp kampen för Storbritannien som jag tror på", sade han.
Han uppmanade supportrarna att inte "kasta" nederlaget.
"Vi har kommit tillbaka tidigare och detta parti kommer tillbaka igen", tillade han.
När Miliband talade tidigare efter att ha behållit sitt säte i Doncaster North, sade han att hans parti hade blivit överväldigat av en "våg av nationalism".
Harman bekräftade att hon skulle avgå som vice ledare när det nya ledarskapet väl är på plats.
Arbetstagarledamoten Tom Watson - partiets tidigare kampanjsamordnare - bekräftade att han skulle överväga att köra för att ersätta henne.
"Jag har alltid trott att den biträdande ledaren är kampanjrollen", berättade han för BBC News.
"Vi har ett borgmästarval i Tower Hamlets att slåss om sex veckor. Vem vet, vi kan till och med ha ett val till Londons borgmästare.
"Så det här partiet måste fortsätta att kampanja medan vi försöker förstå vad som har hänt i det allmänna valet."
Mr Balls förlorade sin plats i Morley och Outwood till den konservativa kandidaten Andrea Jenkyns med 422 röster.
"Varje personlig besvikelse jag har på detta resultat är som ingenting jämfört med den känsla av sorg jag har på resultatet Labour har uppnått över hela Storbritannien, och den känsla av oro jag har om framtiden", sade han.
John Balls sade att det skulle uppstå frågor om Storbritanniens och Storbritanniens ställning i Europa under de kommande fem åren.
Labour förlorade också den tidigare ledaren Gordon Browns tidigare valkrets till SNP då det nationalistiska partiet nästan svepte över styrelsen i Skottland.
Alexander förlorade sin plats till en 20-årig student efter en massiv 26,9 % sväng från Labour till SNP i Paisley och Renfrewshire South.
Murphy gick vidare med nederlaget och sade: " Partiet som traditionellt har varit underdogens outtröttliga mästare befinner sig nu i den positionen att vara underdog.
"Skottlandet behöver ett starkt labourparti och vår repression börjar i morgon bitti."
F.d. arbetsmarknadsminister Lord Reid sade till BBC att "bytet av kaptenen" inte nödvändigtvis skulle förbättra Labours valmöjligheter.
"De (allmänheten) trodde att vi var på fel sida av alla de stora argumenten - vår ekonomiska kompetens, i frågan om att skapa välstånd snarare än bara fördela välstånd, i frågan om invandring, i frågan om reformen av de offentliga tjänsterna", sade han.
En annan arbetskamrat, f.d. förste minister Lord McConnell, sade att hans parti hade upplevt en "katastroffylld kväll".
"Jag tror att Labour strategin för detta val alltid kommer att hamna i denna situation", sade han.
"Tanken att vi kunde välja mellan 30 och 35 procent och dra av en seger skulle inte fungera."
Ed Miliband har avgått som labourledare efter sitt partis nedslående allmänna valuppvisning.