Fifa-delegater röstar om sin nye president, men den sittande Peter Blatter har vägrat att dra sig ur tävlingen, trots arresteringen av högre kolleger på grund av omfattande korruptionsanklagelser.
Premiärministern sa att Fifa bara kunde bygga upp sin trovärdighet om mr Blatter gick.
Det kommer som Storbritanniens Allvarlige Bedrägerikontor (SFO) sa att det tittade på material som rör anklagelserna.
Sju högre tjänstemän från Fifa greps på ett hotell i Schweiz på onsdag.
Det amerikanska justitiedepartementet (DOJ) har anklagat 14 personer för bedrägeri, bedrägeri och pengatvätt.
David Camerons kommentarer följde Peter Blatters uppmaning till enighet i Fifa när delegaterna förbereder sig för att rösta om sitt ordförandeskap.
Peter Blatter, som förväntas vinna en femte mandatperiod, sade: "Jag vädjar till enhet och laganda så att vi kan gå framåt tillsammans."
Men när David Cameron talade i Berlin sade han: " Man kan inte ha anklagelser om korruption på denna nivå och i denna skala i denna organisation och låtsas att den person som för närvarande leder den är rätt person att föra den framåt.
"Så kan det inte vara. Uppriktigt sagt, vad vi har sett är den fula sidan av det vackra spelet och han borde gå.
"Och ju förr det händer desto bättre - ju snabbare den organisationen kan börja bygga upp sin trovärdighet, vilket kommer att bli så viktigt eftersom så många människor runt om i världen vill se detta spel korrekt hanteras, ordentligt omhändertagna, så att vi alla kan njuta av VM i framtiden."
Cameron, som håller EU-reformsamtal med förbundskansler Angela Merkel, sade att det var "otänkbart" att Peter Blatter skulle stanna.
Han sade också att han skulle "vägleds" av Football Association (FA) ordförande, Greg Dyke, om frågan om huruvida buden för 2018 och 2022 VM bör öppnas.
Hans-Joachim Dyke föreslog tidigare att han inte skulle utesluta en bojkott av de stora fotbollsturneringarna om Peter Blatter stannade kvar vid Fifa-rodret.
Union of European Football Associations (Uefa), Europas styrande organ, kan överväga att bojkotta framtida VM om Blatter vinner fredagens omröstning, enligt skotska FA:s verkställande direktör Stewart Regan.
Under tiden, SFO sade att det var aktivt bedöma "material i sin besittning" relaterade till Fifa korruption påståenden.
Den sade att den hade "klargjort att den är redo att bistå pågående internationella brottsutredningar".
Den sa att sonden hade pågått i månader, före onsdagens åtal.
Trots en global media- och sportstorm söker Fifa president Sepp Blatter omval för en femte termin, med den enda utmaningen som kommer från Jordaniens prins Ali bin al-Hussein.
Omröstningen äger rum vid världskongressens Fifa-möte i Zürich i Schweiz.
SFO sade att det inte var villigt att ytterligare kommentera arten av material som den har eller nuvarande verksamhet på detta område.
Den tillade att den inte hade inlett någon formell brottsutredning.  Men det sades att det fanns två sätt på vilka den kunde engagera sig - om SFO själv inledde en formell brottsutredning eller gav "ömsesidig rättshjälp" till utländska brottsbekämpande myndigheter.
Den säger också att den har klargjort för både amerikanska och schweiziska myndigheter att den är redo att bistå.
"Det pågår för närvarande internationella brottsutredningar om anklagelser om korruption i Fifa. Som sådan skulle det vara olämpligt för SFO att kommentera frågan vid denna tidpunkt," sade den.
I november bad SFO om att alla med information om påstådd korruption i budgivningen för 2018 och 2022 VM att träda fram.
Det kommer dock inte nu att säga om dess nuvarande åtgärder avser någon av de ovan nämnda turneringarna.
David Cameron har sagt att Fifa president Sepp Blatter måste avgå, och tillägger "Ju förr det händer desto bättre".