En oberoende rapport som beställdes av hälsodepartementet uppskattade att dessa grupper kostade NHS 2 miljarder pund per år.
Ministrarna sade att en del av dessa utgifter var oundvikliga, men sade att det skulle vara realistiskt att spara en fjärdedel.
Besparingar skulle komma från att avskräcka från så kallad hälsoturism, återkräva pengar som andra länder är skyldiga och en avgift på icke-europeiska tillfälliga invånare.
En senior läkare ifrågasatte regeringens siffror och sade att läkare inte bör spendera tid "vetande behörighet" av patienter.
Hälsominister Jeremy Hunt sade att han inte ville "förvandla GPs till gränsvakter" och ingen skulle nekas akutbehandling, men utländska besökare måste ge ett "rättvist bidrag".
Hunt sade att han erkände NHS: s omsorgsplikt måste "överföra" ekonomiska bekymmer, men att samla in en extra £ 500m per år kan betala för 4.000 extra läkare.
"Vi har ett av de mest generösa systemen i världen när det gäller hälso- och sjukvård för utländska besökare, men det är dags att vidta åtgärder för att se till att NHS är en nationell hälso- och sjukvård - inte en internationell," tillade han.
Från korrespondenten för Nick TriggleHealth
Frågan om vilken utlänningar har rätt till behandling och som inte är komplicerad.
Det första att säga är att om någon behöver akutvård - till exempel om de råkar ut för en olycka - kommer NHS att behandla dem var de än kommer ifrån.
Ett annat undantag är om någon har en smittsam sjukdom som behandling hjälper till att skydda allmänheten.
Utöver detta har Förenade kungariket ömsesidiga avtal med de flesta europeiska länder och 28 andra länder, däribland länder som Kanada och Australien.
Det betyder att om deras invånare behöver vård här tillfälligt - antingen på semester eller på arbete - kommer de att ses och NHS kommer då att återta kostnaden för den vården från det andra landet.
Forskningen från Hälsodepartementet visar att NHS inte är särskilt bra på att ta tillbaka pengarna. Detta beror på ett perverst incitament i det system som ministrarna nu vill rätta till.
Samtidigt är det inte tillåtet att medvetet resa till Storbritannien för hälsobehandling - så kallad hälsoturism.
Reglerna är mindre tydliga i andra fall, t.ex. när det gäller utlänningar och asylsökande.
Den senaste forskningen publiceras i två separata rapporter av företagen Prederi och Creative Research.
Regeringen har kritiserats för att använda finansiella uppskattningar från Prederis betänkande, men Hunt sade att det var "den mest grundliga forskning som någonsin har gjorts" på detta område.
Själva rapporten konstaterar att den bygger på "ofullständiga uppgifter, ibland av varierande kvalitet, och ett stort antal antaganden", men den säger att beräkningarna är de "bästa som kan göras för närvarande", och Hunt sade att forskarna hade varit "helt ärliga om vad de vet och vad de inte vet".
Regeringen samråder för närvarande om vilka åtgärder den kommer att vidta för att ta itu med denna fråga.
Man har redan aviserat en avgift på 200 pund per år för invandrare från länder utanför Europeiska ekonomiska samarbetsområdet (EES) som stannar i mellan sex månader och fem år, och Hunt sade att detta skulle kunna höja 200 miljoner pund per år.
En kostnadstäckningsenhet kommer också att inrättas för att hjälpa sjukhusen att ta tillbaka pengar som de är skyldiga andra regeringar för behandling av utländska medborgare som besöker Förenade kungariket.
Under tiden beräknas Prederi kosta mellan 60 miljoner pund och 80 miljoner pund om året att "överväga hälsoturismen" - där människor reser till Storbritannien för att få NHS-vården. Rapportens författare medger att denna siffra är "osäker" och att kostnadens "rimliga räckvidd" är 20 miljoner pund - 100 miljoner pund.
Frekvent besökare "att dra fördel" genom att registrera sig hos allmänläkare och få tillgång till recept och vissa sjukhus remisser kostar NHS ytterligare £ 50m - £ 200m per år, tillägger rapporten.
Regeringen accepterar att den inte kan ta tillbaka alla dessa pengar och helt stoppa hälsoturismen och har därför lagt fram den "konservativa" siffran på 500 miljoner pund.
För att uppnå detta sades det att det behövdes ett bättre system för att identifiera när besökare och invandrare fick behandling. Mer detaljer om vad detta kommer att innebära kommer att avslöjas under de kommande veckorna.
Gratis NHS-vård erbjuds alla med boende i Storbritannien som har tillfälligt eller permanent tillstånd att göra det.
Asylsökande, medborgare utanför EES som inte har tillstånd att bo i Storbritannien, brittiska ex-pats och besökare måste vanligtvis betala för behandling.
Storbritannien har ömsesidiga avtal med de flesta europeiska nationer och 28 andra länder, och under dessa besökare får gratis NHS vård.
NHS bör kräva tillbaka dessa kostnader från de berörda regeringarna - men forskningen tyder på att bara £ 73 miljoner per år har återhämtats från mer än £ 460m för närvarande.
Detta beror på att det finns ett perverst incitament i systemet, varigenom om de deklarerar det faktum att de har behandlat en utländsk medborgare är det upp till det enskilda sjukhuset att jaga upp hemlandet för pengarna, medan de, om de inte deklarerar det, får pengar från NHS-systemet för att se en patient som har rätt till vård.
Skugghälsosekreterare Andy Burnham sa: "Vi är inte emot att förbättra återvinningen av kostnader från personer som inte har rätt till NHS-behandling."
Men han tillade att siffrorna var baserade på ett "stort antal antaganden" och handlade mer om "spinn än substans".
Dr Chaand Nagpaul, ordförande i British Medical Associations GPs kommitté, sade regeringens 500 miljoner pund besparing var "överdrivet", delvis eftersom det inte tog hänsyn till kostnaderna för att genomföra sina planer.
Han sade att invandrare som betalar den föreslagna 200 pund per år avgift kan vara mer benägna att använda NHS för att "få sina pengars värde", och han sade att kostnaden för en enda sjukhus öppenvård skulle vara mer än 200 pund.
Doktor Nagpaul sade att läkare inte bör distraheras från sitt arbete för att kontrollera lämpligheten av patienter för behandlingar.
Dr Clare Gerada, ordförande för Royal College of GPs, sade att det var absolut nödvändigt att GPs inte fick i uppdrag att vara en "ny gränsbyrå" för att övervaka NHS.
"De risker för folkhälsan som dessa förslag kommer att medföra är också mycket verkliga. De kommer att avskräcka människor från att söka medicinsk hjälp i de tidiga stadierna av sjukdom när de kan hanteras kostnadseffektivt och effektivt i primärvården, snarare än att kräva dyr specialistvård och ökad antagning till akutmottagningar, "sade hon.
Jonathan Portes, vid Institute of Economic and Social Research Think tank, sade att forskningen avslöjade omfattningen av avsiktlig hälsoturism hade varit "mycket överskattad" och var i själva verket en "mycket liten del av NHS utgifter".
Upp till 500 miljoner pund skulle kunna återvinnas från utländska besökare och migranter som använder NHS varje år, tror ministrarna.