De 80 undertecknarna inkluderar ledande personer i den asiatiska gästfrihetsindustrin och prisbelönta gospelsångerskan Rachel Kerr.
Statsministern förväntas rekommendera Storbritannien att stanna kvar i ett reformerat EU.
Återstående kampanjdeltagare sade att flera samväldesledare, däribland Indiens statsminister, hade uppmanat Storbritannien att stanna kvar.
De 80 siffrorna från Storbritanniens samvälde kritiserade David Cameron för en brist på ambition i hans EU-reformkrav, som han hoppas lägga fram för allmänheten i en folkomröstning i juni.
De hävdade att den brittiska regeringens invandringspolitik diskriminerar medborgare från länder utanför EU.
I sitt brev till David Cameron, som publicerades genom kampanjen Voice Leave, säger de: "Som patriotiska britter med samväldesbakgrund såg vi EU:s omförhandling som en möjlighet att återupptäcka Storbritanniens globala kallelse.
"Så länge Storbritanniens handelspolitik kontrolleras av EU kan vi inte underteckna bilaterala frihandelsavtal med Pakistan, Indien, Bangladesh, Australien, Nya Zeeland eller för den delen någon annan stat utanför EU.
"Viktiga intressen på kontinenten upprätthåller en relativt protektionistisk politik. Vi måste tillämpa EU:s gemensamma externa tull på export från samväldesländerna - vilket skadar konsumenterna här såväl som producenterna där.
"Samtidigt tvingar vår invandringspolitik oss i själva verket att vända bort kvalificerade arbetstagare från samväldet för att frigöra obegränsat utrymme för invandrare från EU.
"ättlingarna till de män som erbjöd sig att kämpa för Storbritannien i två världskrig måste stå åt sidan till förmån för människor utan anknytning till Förenade kungariket."
En av undertecknarna, Pasha Khandaker, ordförande i UK Bangladesh Caterers Association UK, sade att de 12 000 curryhus hans organisation representerar "har kämpat för att rekrytera den talang som de behöver på grund av de svårigheter som är förknippade med att anställa människor från länder utanför EU".
"Om Storbritannien hade ett rättvisare invandringspolitik skulle det vara lättare för företag att rekrytera kvalificerad arbetskraft oavsett nationalitet", tillade han.
Andra undertecknare är Rachel Kerr, som vann ett Mobo-pris 2012, i gospel musik kategorin, och Moni Verma, grundare av Veetee Rice, en brittisk-baserad mataffär med en omsättning på 80 miljoner pund per år.
En talesman för Storbritannien Stronger i Europa sade: " Flera ledare för samväldet har varit mycket tydliga med att Storbritannien har en starkare, säkrare och bättre ställning i Europa.
"Indiens premiärminister Narendra Modi sa att Storbritannien är ingångspunkten för handel över hela Europa, medan Australiens tidigare vice premiärminister sade att Samväldet aldrig kunde ersätta handeln Storbritannien gör med EU.
"Vi får det bästa av båda världarna i Europa, handel fritt med världens största marknad, samt tillgång till frihandelsavtal med över 50 länder runt om i världen.
"Även om kampanjdeltagarna kan se tillbaka med rosenfärgade glasögon, har de ingen plan för hur Storbritannien utanför EU skulle se ut, och ingen garanti för att handel, jobb och priser inte skulle drabbas."
I en separat utveckling sade 63 procent av de affärsmän som tillfrågades av de brittiska handelskamrarna att David Camerons EU-förhandlingar inte skulle förändra deras sätt att rösta i folkomröstningen.
Enligt internetundersökningen med 2.133 BCC-medlemmar skulle 60 % rösta kvar, något lägre än 63 % i en tidigare undersökning i september, med 30 % säger att de skulle rösta för att lämna, en ökning med 3 %.
De som representerade stora företag var betydligt mer benägna att rösta "fortfarande" än de små företagen.
BCC generaldirektör John Longworth sade: "Våra resultat tyder på att för affärsmän, detta är en fråga om in eller ut - inte omförhandling."
Samväldesledare och samväldesledare har skrivit till David Cameron för att uppmana honom att stödja Storbritanniens utträde ur EU.