Leave Means Leave, som stöds av senior Tory backbenchers, säger att åtgärden skulle bidra till att få netto migration under 50 000.
Den löper för närvarande på 273 000 per år.
Anti-Brexit kampanjer sade att ett sådant drag skulle orsaka kompetensbrist som skulle skada verksamheten och NHS.
Leave Means Leave vill kombinera det australiensiska poängbaserade systemet med planer för arbetstillstånd som skulle träda i kraft efter att Storbritannien har lämnat Europeiska unionen.
Betänkandet har utarbetats av den oberoende parlamentsledamoten Steven Woolfe, som slutade UKIP efter ett gräl med en kollega som lämnade honom på sjukhus.
I ett tal i måndags kommer Woolfe att säga: "Vi behöver ett invandringssystem som är rättvist, flexibelt och framåtsyftande.
"Det måste vara rättvist i sina framtidsutsikter, flexibelt i praktiken och framtidstänkande för vår ekonomi.
"Brexit handlar inte om fantastisk isolering - det handlar om att återuppta kontakten med världen, utan att våra vingar klipps av Europeiska unionen."
Men han sade att införandet av "strikta kontroller, ett årligt tak och en femårig frysning av okvalificerade invandrare" skulle "minska nettoinvandringen från år till år, minska belastningen på våra offentliga tjänster och bidra till att skapa ett mer sammanhållet samhälle".
Frågad på Sky News om påståenden hans plan skulle ge ett enormt slag till den brittiska ekonomin, sade han att åsikten var baserad på idén om en massflykt av migranter som han inte trodde skulle hända, tillade att hans plan skulle leda till en mer mild minskning.
Konservativ före detta kabinettsminister Owen Paterson, medlem av Leave Means Leave, sade "den överväldigande majoriteten av Britons känner absolut ingen förbittring mot arbetare eller studenter från utlandet".
Men han tillade: "Mass migration på sin nuvarande nivå har främjat förbittring, sänkt lönerna och lagt en alltför stor börda på våra offentliga tjänster."
Betänkandet fördömdes av medlemmar i den tvärpartilösa gruppen Open Britain.
Konservativ ledamot Anna Soubry sade: "Vi har sett uppmuntrande tecken från premiärministern att hon accepterar och förstår den verklighet som det brittiska näringslivet står inför - de kommer att fortsätta att behöva utländska arbetstagare i flera år framöver.
"Migrantarbetare bidrar till vår ekonomi och till den brittiska kulturen - vi bör välkomna dem i den traditionella andan av brittisk tolerans.
"Leave Means Leave förstår uppenbarligen inte varför brittiska företag förlitar sig på migrerande arbetare."
Labour's Pat McFadden sade att premiärministern stod inför ett val mellan att gå "under den väg som förespråkas av denna typ av plan" eller att inta en "mer realistisk och ärlig inställning till Brexit-förhandlingarna om invandring och andra frågor".
Enligt planen för ledighetsledighet skulle det inte finnas något tak för högkvalificerade arbetstagare, entreprenörer eller investerare, men okvalificerade visum skulle stoppas under fem år.
Arbetstillstånd skulle endast beviljas om den sökande hade ett jobberbjudande med en minimilön på 35.000 pund och hade klarat ett engelskt språktest, undertecknat ett femårigt privat sjukförsäkringsavtal och hade besparingar i banken.
Upp till 50.000 tillfälliga arbetstillstånd skulle först utfärdas för jordbruksarbetare, vilket skulle ha minskat till noll under det tredje året.
Det skulle inte finnas några restriktioner för antalet studenter som ville bege sig till Storbritannien.
Undantag skulle göras för hälso- och sjukvårdspersonal om de behövdes från utlandet, men i betänkandet sägs att fokus bör ligga på att öka antalet britter som arbetar inom läkarkåren.
EU-medborgare som redan är bosatta i Förenade kungariket skulle ha rätt att stanna i all oändlighet så länge Bryssel tillämpar samma inställning till brittiska medborgare som bor i Europa, sägs det i betänkandet.
Men regeringen bör omedelbart tillkännage ett slutdatum för när nyanlända slutar kvalificera sig, titer läggs till.
Okvalificerade invandrare bör stoppas från att flytta till Storbritannien i fem år för att bidra till att minska nettomigrationen, har en rapport från en pro-Brexit-grupp sagt.