Gisela Stuart, som leder gruppen, sade att det var "korrosivt" av allmänhetens förtroende för politikerna att lova att kontrollera siffrorna och sedan inte göra det.
Att rösta permission på torsdag var det enda sättet att "ta tillbaka kontrollen" över invandringen, sade hon.
David Cameron sade att det "inte är rätt sätt att kontrollera invandringen" att lämna EU.
Samtidigt, en rapport av tankesmedjan Migration Watch, som vill ha lägre invandring, sade generellt, alla migranter - både från EU och på andra håll - i Storbritannien "fortsätter att vara en nettoskattekostnad" till statskassan.
Det sades att endast nya invandrare - som kom från 2001 - från de gamla medlemsstaterna i EU14 hade lämnat ett "nettopositivt skattebidrag".
"Invandringen har inte visat sig ha någon betydande inverkan, vare sig positiv eller negativ, på BNP per capita, vilket är ett viktigt mått på den ekonomiska utvecklingen.
"Det finns därför inga ekonomiska skäl för massinvandring i nuvarande skala", sade rapporten.
Stuart sade att Storbritannien var en "öppen och tolerant nation" som hade gjorts "bättre och starkare" av invandringen och borde vara "stolt" över att hjälpa flyktingar.
Men Labourpartiets parlamentsledamot sade att EU:s politik var "sviktande i humanitära termer".
"De tragiska scener som utspelar sig i Medelhavsområdet understryker hur illa Europeiska unionen hanterar befolkningsrörelser och migrationstryck", sade hon.
– För att upprätthålla allmänhetens förtroende för migrationen och förhindra att extremister dominerar debatten är det viktigt att valda politiker är ansvariga för besluten om migration.
Stuart sade att det skulle finnas "ingen kontroll" över migrationen från EU, "oavsett hur stort trycket på skolor, sjukhus och bostäder blir eller hur mycket lönerna i våra fattigaste samhällen pressas ned".
Hon påpekade att nettoinvandringen 2015 - skillnaden mellan antalet personer som kommer till Storbritannien under minst ett år och antalet som lämnar landet - var 333,000, enligt Byrån för nationell statistik.
Denna fråga omfattar invandring och fri rörlighet inom Europa.
Den siffran var den näst högsta hittills, medan siffran enbart för nettoinvandringen i EU var 184.000 - vilket är rekordhögt.
Stuart sade: "Det är uppenbart att det kommer att bli omöjligt att minska nettoinvandringen under 100.000 om vi röstar för att stanna kvar i EU.
"Premiärministern måste nu klargöra att han kommer att överge detta manifest löfte om han vinner folkomröstningen på torsdag. Han kan inte fortsätta att lova att göra något som han vet är omöjligt.
"Inom EU kontrollerar vi inte våra gränser och kan inte kontrollera rörligheten för människor som kommer hit från EU."
Stuart sade att genom att lämna EU skulle Storbritannien "ta tillbaka kontrollen" och politikerna skulle vara tvungna att hålla sina löften om migration.
Hon sade tidigare att David Cameron hade slutat med att släppa den utlovade politiken om EU:s migration - t.ex. att EU-migranter måste ha ett jobberbjudande att komma till i Storbritannien - "eftersom Bryssel inte skulle tillåta dem".
I en särskild utgåva av frågestunden medgav David Cameron att kontrollen av invandringen var "mycket utmanande", men han sade att hans EU-omförhandling skulle göra "stor skillnad".
Han sade att det inte fanns någon "silverkula" och att det var "inte rätt sätt att kontrollera invandringen" att lämna EU och den inre marknaden.
Statsministern sade också att regeringen skulle behöva sätta upp skatter eller minska utgifterna eller riskera "gå tillbaka till ruta ett" om Storbritannien röstade för att lämna.
Om Storbritannien röstar för att gå sade han: "Det är allt, vi går ut genom dörren, vi slutar - vi ger upp om denna organisation."
"Jag tror inte att Storbritannien, i slutet, är en avhoppare," tillade han.
Tala på BBC Radio 4's Today program på måndag, UKIP ledare Nigel Farage sade att han ville se Storbritannien invandring komma ner till "efter krig" nivåer på mellan 30.000 och 50.000 människor per år.
"För tillfället har vi ingen kontroll. Ett brittiskt pass är ett EU-pass som är öppet för 500 miljoner människor, sade han, men tillade att det skulle vara upp till parlamentet att fastställa nivån.
Invandringen har varit ett centralt slagfält i folkomröstningskampanjen inför omröstningen om EU-medlemskapet den 23 juni.
På söndagens Labourledare Jeremy Corbyn, som stöder Remain, sade till BBC att det inte kan finnas någon övre gräns för antalet personer som kommer till Storbritannien medan det finns fri rörlighet för arbetskraft i EU.
Pro-Leave Michael Gove sa att folk ville känna att siffror kontrollerades.
Under tiden, Boris Johnson, en annan ledande Leave kampanjledare, sade att utan gränskontroller, "de betydande flödena av migration.. visar inga tecken på att minska".
I Daily Telegraph skriver John Johnson att genom att lämna EU skulle Storbritannien "ta tillbaka kontrollen" på 10,6 miljarder pund netto per år, vilket han sade skulle göra det möjligt för landet att "ta tillbaka kontrollen över våra gränser, och installera ett poängbaserat system i australiensisk stil som är rättvist både för människor som kommer från EU och från länder utanför EU".
John Johnson uppmanade väljarna att "ändra hela den europeiska historiens gång" genom att rösta för att gå, vilket han sade skulle vara "överväldigande positivt".
"Nu är det dags att tro på oss själva, och på vad Storbritannien kan göra, och att komma ihåg att vi alltid gör bäst när vi tror på oss själva", tillade han.
David Camerons "omöjliga" löfte om att minska nettoinvandringen till under 100.000 måste överges om han vinner folkomröstningen, har Voice Leave sagt.