Rafa berättade för BBC's Today-programmet: "De utnyttjade oss och kastade bort oss."
Brasilianarna, 24, som medger att han använde falska dokument för att få jobbet, sade att han hade kallats till ett möte den 4 juli, där immigrationspersonalen arresterade honom.
Byron sa att det hade varit ovetande arbetare hade använt falska papper tills det informerades av inrikesministeriet.
Människor från Brasilien, Albanien, Nepal och Egypten arresterades efter razzior på Byrons restauranger i hela London.
Inrikesministeriet sade att av de 35 personer som intervjuades av immigrationstjänstemän har 25 sedan dess deporterats.
Rafa sa att han kom till Storbritannien i maj 2015 för att "försöka sin lycka" på att få arbete, och använde ett falskt National Insurance-kort och ett falskt italienskt identitetskort för att få ett jobb på Byron.
På morgonen för räderna sade han att han skulle närvara vid ett möte på restaurangen där han arbetade.
Den kvinna som ledde mötet såg "nervös" och "orange", sade han, och tillade att immigrationstjänstemän anlände 10 minuter senare. Han blev sedan intervjuad och deporterad den kvällen.
Rafa sa att han visste vad han hade gjort var fel - men sa sättet han greps "är det som stör mig".
"Jag mådde väldigt dåligt, för vi väntade oss inte det. Jag skulle kunna fångas när som helst - på gatan, eller i någon av operationerna av immigrationskontoret.
"Men sättet det gjordes på var det som oroade oss, det som gjorde oss ledsna."
Han tillade: " Vi hade använt falska dokument, men vi betalade våra skatter normalt. Det var det som gjorde oss ledsnast - de utnyttjade oss och kastade bort oss."
Rafa sa att immigrationstjänstemännen behandlade honom väl och gav honom möjlighet att åka hem och hämta sina tillhörigheter. Han visste vilka risker han stod inför och att "om något händer kan man arresteras eller utvisas".
Men han tillade: " Det är inte det som är poängen. Frågan är, hur de gjorde det, "tillade att han hoppas att återvända till Storbritannien i framtiden och kommer att ansöka om visum.
Byron sade i ett uttalande att det var fullständigt ovetande om att någon av dess arbetare var i besittning av falsk dokumentation fram till hemkontorets räder.
Restaurangkedjan, som har 65 butiker över hela Storbritannien och mer än 1500 anställda, sade att den utförde rigorösa kontroller av rätten till arbete, men den falska dokumentationen var "sofistiska".
Inrikesministeriet sade att operationen genomfördes med fullt samarbete från företagets sida, som hade utfört korrekta kontroller av de anställda.
Till följd av detta skulle kedjan inte ställas inför några rättsliga åtgärder i sig, bekräftade inrikesministeriet.
En före detta arbetare vid hamburgerkedjan i Byron, som greps och deporterades efter immigrationsräder förra månaden, säger att han känner sig "använd".