Migration Watch säger att detta skulle minska netto migration - skillnaden mellan antalet människor som anländer och lämnar - från 180.000 till 65,000 per år.
Men James McGrory, från kampanjen för EU-britannien Stronger In Europe, kallade rapporten för "onda".
Han sade att det var "ett annat exempel på att kringgå fakta".
Förenade kungariket kommer att ha en folkomröstning i slutet av 2017 om huruvida landet ska förbli medlem i Europeiska unionen eller inte.
I betänkandet från Migration Watch, där man förespråkar strängare invandringskontroller, undersöks möjliga politiska åtgärder som skulle kunna införas om Storbritannien röstade för att lämna EU och överväger deras inverkan på de totala migrationssiffrorna.
BBC inrikes angelägenheter korrespondent Danny Shaw
Ingen vet med säkerhet vilken inverkan en brittisk utresa från EU skulle få på invandringen.
Det skulle bero på villkoren för en ny lösning som kan ta månader att förhandla och år att genomföra.
Men säg, som Migration Watch förespråkar, att det förebådade kontroller av flödet av lågkvalificerad EU-migrerande arbetskraft, skulle det verkligen fungera för att minska nettoinvandringen?
Skulle det inte finnas en tillströmning av invandrare från EU innan restriktionerna trädde i kraft?
Skulle inte företag som för närvarande är beroende av arbetare, kammarjungfrur och stormarknader från Europa kräva att de tillåts rekrytera dem från andra håll?
Och skulle inte EU införa arbetstillstånd för brittiska arbetstagare och därigenom minska utvandringen från Storbritannien?
Detta är frågor som behöver svar under månaderna fram till folkomröstningen.
I betänkandet föreslogs att den viktigaste förändringen skulle vara införandet av arbetstillstånd som skulle begränsa EU-medborgare som reser in i landet till högkvalificerade arbetstagare, deras familjemedlemmar och studenter, medan lågkvalificerade arbetstagare inte skulle beviljas inresa.
Lord Green of Deddington, ordförande för Migration Watch, sade: "Det är dags att undersöka möjliga alternativa invandringsregimer."
Enligt de nuvarande arrangemangen skulle en övergång till Storbritannien "fortsätta i en betydande takt under överskådlig framtid", sade han.
"I själva verket tenderar invandrare att generera ytterligare migration när deras vänner och släktingar ansluter sig till dem i sina nya länder", sade han.
"Arbetstillstånd för EU-medborgare skulle avsevärt minska nettoinvandringen och dess tryck på vår befolkning och på de offentliga tjänsterna."
I dokumentet på 16 sidor föreslås att i genomsnitt bara omkring 20 % av de EU-migranter som kom till Storbritannien mellan 2004 och 2014 arbetade med högre utbildning.
Det sades: "Detta skulle avsevärt kunna minska EU:s inflöde för arbete till kanske en femtedel av den senaste nivån och i sin tur avsevärt minska nettoinvandringen med kanske 100.000 per år från den nuvarande nivån på 180.000."
Siffrorna bör inte betraktas som en "precis uppskattning" utan "avses för att illustrera omfattningen av den potentiella minskningen inom ramen för den politik som skisserats".
Det skulle inte finnas något behov av restriktioner för EU-medborgare som kommer till Förenade kungariket som studenter eller turister, konstaterade författarna.
De som är "självförsörjande" skulle också vara fria att bo i Storbritannien, inklusive de som söker jobb.
Enligt det föreslagna systemet skulle det inte heller finnas några begränsningar för EU:s familjemedlemmar till brittiska medborgare som kommer för att ansluta sig till dem, medan släktingar till europeiska kvalificerade arbetstagare och studenter skulle ha rätt att bo och arbeta i Förenade kungariket.
De EU-medborgare som redan bor och arbetar i Storbritannien skulle behålla sina befintliga rättigheter, föreslog Migration Watch.
Men den EU-vänliga kampanjledaren McGrory sade: "För närvarande har Storbritannien det bästa av båda världarna. Vi har ett undantag från det passfria Schengenområdet, samtidigt som vi fortfarande har full tillgång till den inre marknaden.
"Leavekampanjerna har inte producerat en strimla av bevis för att visa hur de kan garantera en affär som är minst lika bra om vi lämnar."
Migrationsobservatoriet vid universitetet i Oxford sade att om det blev svårare för arbetsgivare att rekrytera EU-arbetare kan de försöka ta in fler migranter från länder utanför Europa.
Den senaste beräknade nettoinvandringen till Storbritannien nådde en rekordnivå på 336 000 under året fram till juni 2015 enligt uppgifter från Office for National Statistics (ONS).
Nettoinvandringen skulle kunna minska med omkring 100 000 om året om Storbritannien lämnar EU och inför arbetstillstånd för EU-medborgare, har en påtryckningsgrupp sagt.