Sångerskan-låtskrivaren dök upp på två av festivalens mindre scener - iArena på fredag kväll och den andra Voices-scenen på lördag.
Hans lågmälda framträdanden kom en vecka efter att han spelat tre utsålda soloshower på Wembley Stadium.
Noel Gallaghers High Flying Birds kommer att avsluta festivalens 10-årsjubileum evenemang med en rubrik slot på söndag.
Portishead huvudrubrikerade händelsen på lördagen, och fick sällskap av Radiohead frontman Thom Yorke innan han spelade sin egen oanmälda set på iArena senare den kvällen.
Vinnarna av Mercury-priset Alt-J fick rubriken på fredag. I lagförslaget ingick också musik från Manic Street Preachers och Laura Marling, komedi från Jason Manford och Ruby Wax samt teaterföretag som Kneeigh och Paines Plough.
Sheeran spelade festivalen i början av sin karriär och växte upp i närheten Framlingham. Han är nu en av Storbritanniens största popstjärnor och har sålt mer än två miljoner exemplar av sitt andra album X i Storbritannien.
Han meddelade sin fredag kväll inställd på Twitter ungefär en timme i förväg. När ryktet hade spridits, uppskattades folkmassans antal på skogsarenan till mellan 1.000-3.000.
Guardians kritiker Harriet Gibsone sa att han spelade en timme lång uppsättning bestående av covers av låtar som Blackstreet's No Diggity, Stevie Wonder's Superstition och Bill Withers' Ain't No Sunshine.
Olly Gregson, 18 år, från Sussex, sade: " Det var en fantastisk föreställning, verkligen intim.
"Alla dansade och sjöng med. Det är den bästa tiden jag någonsin sett honom, bara för att den var så liten. Man ser honom på arenor, arenor och sånt, men det är uppenbarligen fantastiskt, intimiteten, så nära det."
Följande natts uppsättning var kortare men ännu mer intim. På festivalens blogg stod det: "Ed själv medger att han inte planerade detta, han bara hade lite kul.
"Så det kom sig att strax före midnatt på andra rösters scen går Ed vidare till kanske inte mer än 80 personer, gitarr i handen, och bryter sig in i Thinking Out Loud."
Sheeran fortsatte att spela Nina Simone's Feelin' Good och fick sällskap av Snow Patrol's Jonny Quinn och Nathan Connolly för bandets hit Chasing Cars.
Inställningen var långt från Wembley Stadium, där Sheeran spelade för 80 000 personer i fredags, lördag och söndag.
Efter en uppsättning av The Unt Thanks blev en liten skara på omkring 150 personer i rummet Other Voices behandlade till en kort överraskning av Ed Sheeran.
När Sheeran tog sig till scenen strax före midnatt, sade han till publiken: "Jag är ganska klippt för tillfället, förväntade mig inte att spela."
Beväpnad med bara sin gitarr, och minus hans looppedaler, spelade han en traditionell irländsk sång och ett Nina Simone cover innan han anslöt sig till scenen av två medlemmar i Snow Patrol för att spela Chasing Cars.
Och med det var han borta.
Singer Ed Sheeran har glatt fans på Latitude Festival i Suffolk genom att spela två överraskningsspel.