Förra veckan sa Cameron till BBC att han inte skulle avtjäna en tredje mandatperiod som statsminister.
Frågat av Andrew Marr om det innebar att Cameron måste "avstå någon gång under nästa parlament", svarade David Duncan Smith: "Det gör han."
Downing Street sa att statsministern skulle tjäna "varenda dag" på en andra termin.
I sin BBC-intervju på måndagen sade premiärministern att om han omvaldes i maj skulle han tjäna hela fem år i ett annat parlament och sedan lämna nummer 10 - vilket ledde till att Labour anklagade honom för arrogans.
Mr Duncan Smith berättade för BBC Ones Andrew Marr Visa "den väg som allt kommer att komma att diskuteras" tillägger att Mr Cameron skulle "tjäna vad som i huvudsak är en hel term" - men det skulle "naturligtvis" vara en ledarskapstävling någon gång.
"Du har varit tvungen att bokstavligen rap knogarna av människor som Gordon Brown och tidigare premiärministrar för att få dem att tänka på att gå," sade han.
"[Mr Cameron] är faktiskt mycket angelägen om att säga "det finns en gräns, det finns en viss tid en premiärminister bör tjäna innan de blir gamla," och han har rätt om det."
Mr Cameron har tipsat inrikesminister Theresa May, förbundskansler George Osborne och London borgmästare Boris Johnson som potentiella efterträdare.
Men Duncan Smith sade att han, efter att ha varit konservativ ledare vid en tidpunkt då partiet "var ganska intresserad av att ha en kamp i ett tomt rum", inte skulle göra förutsägelser.
Han sade att han förväntade sig att nästa konservativa ledare redan skulle ha varit "på det offentliga området under en tid".
Efter söndagens intervju, en Downing Street källa berättade BBC: "David är mycket tydlig han kommer att tjäna en hel fem år andra termin, varje dag av detta som premiärminister.
"När det gäller vad som händer om fem år, löser vi det om fem år."
En YouGov-undersökning för Sunday Times har föreslagit att Labour har fyra poängs ledning över de konservativa, vilket sätter Labour på 36 procent med Tories på 32 procent - medan en Opinium-undersökning för The Observer tyder på att Tories är på 34 procent och Labour på 33 procent.
De konservativa skulle behöva välja en ny ledare före slutet av nästa parlament om David Cameron vinner en andra mandatperiod som premiärminister, välfärdsminister Iain Duncan Smith har sagt.