Sir Philip, ägare till klädhandlare Arcadia Group, kommer att undersöka utgifter från de senaste tre åren för att försöka identifiera potentiella besparingar.
Han sa att BBC mer centraliserade inköp av statliga departement kan hjälpa.
Men utnämningen kritiserades av GMB-facket - som sade att Sir Philips fru, den direkta ägaren till Arcadia, bor i en skatteparadis.
Sir Philip äger mer än 2 000 butiker i Storbritannien, inklusive BHS och Topshop, som uppskattas utgöra cirka 12 % av landets klädhandelsmarknad.
Hans slutsatser kommer att ligga till grund för den omfattande utgiftsöversyn som kommer att äga rum i oktober.
Sir Philip Green är en av Storbritanniens mest framgångsrika återförsäljare.
Med en personlig förmögenhet på mer än 4 miljarder pund äger han Arcadia Group, vars modekedjor inkluderar Topshop, Burton, Dorothy Perkins, Evans och Miss Selfridge.
År 2009 gjorde Arcadia vinster före skatt på 213,6 miljoner pund, vilket var 13 % högre än året innan.
Sir Philip äger också varuhuskedjan BHS, vars förmögenhet han har förvandlat sedan han köpte det då sjuka företaget 2000.
Regeringen kommer att hoppas att Sir Philip kan överföra sin kända förmåga att skära kostnaderna från den privata sektorn till den offentliga förvaltningen.
Han kommer också att föra ett bevisat rekord i upphandling, och syftar till att minska kostnaden för regeringens inköpskontrakt.
Men trots Sir Philips framgångar kan hans utnämning ändå höja ögonbrynen.
Hans fru Tina är direkt ägare till Arcadia, och hon är officiellt bosatt i Monaco. Detta gjorde det möjligt för henne att få en skattefri utdelning på 1,2 miljarder pund 2005.
Sir Philip gjorde också rubriker 2004 när han gjorde ett misslyckat fientligt uppköpsbud för Marks och Spencer.
Han berättade för BBC Radio 4's Today program han hade "ingen aning" om hur mycket som kunde sparas ännu, men tillade: "Vi måste fokusera oss på de stora utgifterna, där är de pengar som faktiskt spenderas.
"Jag tror att det i det förflutna, då och då efter att ha haft diskussioner om detta, inte finns någon central upphandling.
"Så tankeprocessen att vi har en enskild köpare i var och en av våra butiker utan att centralisera köpet, kommer att ge dig en idé, förhoppningsvis, om möjligheten.
"Men det handlar också om processen, så vi måste förstå processen, hur den görs, vem som gör vad och hur vi kan påskynda allt detta."
Men hans utnämning kritiserades av Paul Kenny, chef för GMB facket, som påpekade att Sir Philips hustru - den namngivna ägaren av Arcadia - bor i skatteparadiset i Monaco.
Han sade: " Om vi sökte råd om marknadsföring eller försäljning av kläder, är han någon du kanske frågar. Det handlar om hälsa, utbildning och omsorg för miljontals av våra medborgare - inte om att importera billiga kläder."
Och public and Commercial Services Union, som företräder statstjänstemän, sade: "Det är inte så konstigt att miljonärerna i kabinettet har utsett en miljardär för att säga att deras nedskärningar, som kommer att ödelägga samhällen i Storbritannien, är "rättvisa".
Men kabinettsminister Francis Maude försvarade Sir Philips utnämning och sade att han hade ett "skarp öga för detaljer" och kunde vägleda regeringen på kontrakt och hyresavtal som undertecknats i framtiden.
"Han har visat hur han kan vända på stora komplexa företag. Regering är en enorm komplex organisation, och även om det inte är samma sak som ett företag, behövs det många av samma discipliner, tillade han.
Sir Philip frågade om sin frus skattestatus och sade till BBC: "Min fru är inte skatteexil - min familj bor inte i Storbritannien, det är något annorlunda."
Han tillade: " Vi betalar all vår skatt i Storbritannien. Jag tror att vi under de senaste fem åren har betalat omkring 300-400 miljoner pund i skatt på vinster som har gjorts på vårt företag.
"Jag är en brittisk skattebetalare, jag arbetar här varje vecka, vi sysselsätter 45 000 personer i Storbritannien och vi har en lön på 500 miljoner pund."
Sir Philip kommer att stödjas av ett team av tjänstemän och rapportera till Mr Maude och Chief Treasury Sekreterare Danny Alexander - som sade att översynen skulle hjälpa regeringen "helt om-tänk" hur den spenderar offentliga pengar.
Miljardär Topshop ägare Sir Philip Green kommer att leda en översyn av statliga utgifter - mitt i kritik från fackföreningar.