Statstjänstemän och mr Baes syster citerades och sade att 45-åringen hade återvänt från ett sjukhus till lägret den 20 januari.
Bae, koreansk-amerikan, greps i november 2012 och dömdes till 15 års straffarbete i maj.
Nordkorea säger att han använde sin turistverksamhet för att bilda grupper för att störta regeringen.
Han fördes till sjukhus förra året efter att ha drabbats av dramatisk viktminskning. Hans familj säger att han har flera hälsoproblem inklusive diabetes och leverproblem.
Utrikesdepartementets taleskvinna Jen Psaki sade att Washington hade lärt sig om Mr Baes förflyttning till lägret från representanter för den svenska ambassaden i Pyongyang, som agerar på uppdrag av USA i Nordkorea.
Anna Psaki sade att de svenska diplomaterna "har träffat Bae tio gånger sedan han frihetsberövades, senast den 7 februari i ett arbetsläger".
Hon tillade: "Vi fortsätter att uppmana de nordkoreanska myndigheterna att bevilja Bae särskild amnesti och omedelbar frigivning av humanitära skäl."
Ágnes Psaki angav inte när Bae hade tvingats tillbaka till lägret.
En tjänsteman från USA:s departement och Baes syster bekräftade dock datumet den 20 januari.
"Han är tillbaka till åtta timmar om dagen, sex dagar i veckan hårt arbete," Terri Chung, Mr Baes syster, citerades som sagt av Associated Press nyhetsbyrå.
Pyongyang har hittills inte kommenterat rapporterna officiellt.
På torsdag använde USA:s president Barack Obama den årliga nationella bönefrukosten i Washington för att säga: "Vi ber för Kenneth Bae, en kristen missionär som har varit kvar i Nordkorea i 15 månader."
"Hans familj vill ha hem honom, och USA kommer att fortsätta att göra allt som står i vår makt för att säkra hans frigivning eftersom Kenneth Bae förtjänar att vara fri."
Om detaljerna i hans förflyttning bekräftas skulle det innebära att Bae återvände till lägret samma dag som han talade med utländska medier i Nordkorea under tungt fångvaktare - hans första "presskonferens" sedan frihetsberövandet.
Bae förnekade mediarapporter om att han hade blivit illa behandlad och uppmanade USA att "samarbeta" för att få honom frisläppt.
Korrespondenterna säger att han kan ha talat under sträng redaktionell kontroll.
Nordkorea har arresterat flera amerikanska medborgare under de senaste åren, däribland journalister och kristna som anklagats för proselytvärvning.
De släpptes efter besök i Pyongyang av framstående tjänstemän, inklusive tidigare presidenter Bill Clinton och Jimmy Carter.
En amerikansk medborgare som hållits fången i mer än ett år i Nordkorea har flyttats tillbaka till ett arbetsläger, säger amerikanska tjänstemän.