Internen från Rumänien hade avtjänat 30 månaders straff för sexuella övergrepp mot en flicka under 13 år.
Han skulle friges från HMP Littlehey i Cambridgeshire den 6 januari, men deporterades på fredag morgon.
Justitieministeriet (MoJ) sade att en utredning nu pågår.
En talesman sade att mannen inte hade släppts ut på gatorna, utan placerats på ett immigrationscenter.
"Han placerades på en flyttcentral för invandring innan han fördes bort från landet dagen därpå", sade han.
"Incidenter som denna är extremt sällsynta."
En undersökning pågick för att fastställa omständigheterna kring mannens frigivning, tillade han.
En sexförbrytare släpptes felaktigt från fängelset en månad tidigare, har BBC lärt sig.