UNHCR sade att påtvingade återvändanden hade "fortsatt oförminskat" trots ett avtal tidigare denna månad.
Enligt avtalet skulle alla återvändanden vara frivilliga och endast "när förhållandena var gynnsamma".
Kamerun har avvisat anklagelsen och sagt att människor återvände villigt.
Enligt UNHCR har mer än 2.600 flyktingar tvångsförflyttats till Nigeria från Kamerun i år.
Många kan inte återvända till sina byar i Borno-staten av säkerhetsskäl och har hamnat i läger för fördrivna människor.
I vissa fall, sade UNHCR, hade människor återvänt "utan att ge dem tid att hämta sina tillhörigheter".
UNHCR:s talesman Babar Baloch talade om "kaos" i återvändandeprocessen och sade att "vissa kvinnor tvingades lämna sina små barn i Kamerun, inklusive ett barn under tre år".
Många av de återvändande har nu bosatt sig i lägret i Banki för internflyktingar.
UNHCR:s personal registrerade också omkring 17 personer som påstod sig vara medborgare i Kamerun och som av misstag hade deporterats till Banki.
Det är vanligt i regionen att man hittar personer som inte har några skriftliga bevis på sin nationalitet.
Kameruns kommunikationsminister Issa Tchiroma berättade för BBC: s fokus på Afrika-programmet: "Jag förnekar starkt denna anklagelse" om påtvingade återvändanden.
Han sade att Kameruns armé hade arbetat "hand i hand" med den nigerianska armén mot Boko Haram och alla civila som hade återvänt till Nigeria hade gjort det av egen fri vilja.
"Detta repatriering har ägt rum villigt", sade han.
De kamerunska myndigheterna har tidigare sagt att Boko Harams militanter har kommit in i landet förklädda till flyktingar.
Militanter har under de senaste åren utfört ett antal attacker i norra Kamerun, ofta med hjälp av självmordsbombare.
UNHCR sade att påtvingat återvändande utgör ett allvarligt brott mot 1951 års flyktingkonvention och 1969 års OAU-konvention, som båda har ratificerats av Kamerun.
Det uppmanade Kamerun att uppfylla sina skyldigheter enligt konventionerna och fortsätta att hålla sina gränser öppna för att ge tillträde till territorium och asylförfaranden för människor som flyr från den islamistiska upproret.
FN:s flyktingorgan har kritiserat Kamerun för att hundratals flyktingar tvingats återvända till nordöstra Nigeria efter att ha flytt från den islamistiska Boko Haram-upproret.