Han sade till BBC att EU var "brutet" och "odemokratiskt" och sade till Sun att många labourråd skulle "chocka" Westminster med sin folkomröstning.
Veteran Labour-ledamot Dennis Skinner har också sagt att han kommer att rösta för att lämna EU.
Labours ledarskap kämpar för att stanna kvar i EU och säger att Labours röster kommer att vara avgörande i folkomröstningen.
Höga partisiffror, däribland Ed Miliband, Tom Watson och Yvette Cooper, försöker mobilisera arbetarrösterna för att senare stödja Remain-kampanjen, med varningar om vad de säger är den potentiella ekonomiska effekten av en omröstning om att gå.
Bland labourröster som antyder att partiet måste göra mer för att få sina anhängare tillbaka är London Mayor Sadiq Khan och GMB ledare Tim Roache.
Denna fråga omfattar invandring och fri rörlighet inom Europa.
Men Mann sade till BBC Radio 4's Today-programmet: "Det är inte så att Labour inte förmedlar sitt budskap till arbetarrösterna, det är att arbetarrösterna i grunden är oense i denna fråga."
Han sade att han hade försökt sätta upp målet för och emot vid offentliga möten, men han hade "hittat det omöjligt att argumentera för det eftersom EU i grunden är trasigt, det är odemokratiskt och även när man vill få förändringar - som David Cameron försökte - kan man inte få dem".
Han sade att EU:s fria rörlighet för personer när det gäller invandring inte gjorde det möjligt för Storbritannien att planera för påtryckningar på sina offentliga tjänster.
Parlamentsledamöterna i Bassetlaw, som har varit kritiska mot partiledaren Jeremy Corbyn, förnekade att hans inställning hade något att göra med "intern arbetarpartipolitik" och tillade: "Jeremy Corbyn är mycket mer i kontakt med denna fråga än [tidigare ledare] Ed Miliband - därför har han varit mer tvetydig i vissa av de saker han har sagt."
Knacka här för att ange din postkod.
Han tillade: "Dennis Skinner har gjort en artikel i Morgonstjärnan idag - han är en av Jeremys stora anhängare."
I Sun sade Mann att många labourråd skulle "chocka" Westminster med sin folkomröstning och sade att en "folkrevolution pågår" som handlade om att "återge makten till folket".
Han skrev: " Det är inte hållbart att ha 300 000 nya människor till befolkningen varje år. Det har skapat två slags människor i detta land: de människor som vinner på detta och de människor som förlorar."
Han sade att han inte trodde att en progressiv reform av EU skulle kunna genomföras.
"Min opposition från första början har varit i linje med att det är svårt nog att bekämpa kapitalismen stat för stat. Det är ännu svårare när man kämpar mot det på grundval av åtta delstater, tio delstater och nu 28.
"Vad EU bör göra, om det vill övertyga människor som jag, är att ha ett direktiv för att göra sig av med nolltimmarsavtal i hela EU. Det är vad jag skulle leta efter."
Sadiq Khan, Londons nyvalda borgmästare, sade på torsdagen att Labour hade ett "monumentärt ansvar" för att se till att det mobiliserade anhängare för att rösta för ett fortsatt EU-medlemskap.
"Den oro vi har är, av förståeliga skäl eftersom en hel del av medias uppmärksamhet har varit på så kallade "blå mot blå" attacker - Boris Johnson mot David Cameron, Michael Gove mot George Osborne - Labour väljare har stängts av," sade han.
Labourledamot John Mann har sagt att han kommer att rösta för att lämna EU och säger att arbetarröstarna "fundamentalt motsätter sig" partiets officiella ståndpunkt.