Dr Ian Paterson förnekar 20 fall av skada med avsikt mot nio kvinnor och en man vid Nottingham Crown Court.
Han sa att han aldrig hade berättat för de påstådda offren att de hade "en tickande bomb" av cancer inuti sig.
Han sade att frasen förekommer i tre vittnesmål som var "tydliga bevis" uttalanden har vägletts.
"Det är skrämmande, varför skulle jag avsiktligt skrämma en patient, att du har en tidsinställd bomb?" sade han.
Fler uppdateringar om detta och andra berättelser i Birmingham och Black Country
Den 59-årige sade också en patient, John Ingram, som hade en dubbel mastektomi efter tester visade endast potentiellt onormala celler, var en "tystande massa av ångest", övertygad om att han skulle få cancer.
Inget han sa till honom skulle ha ändrat sig, sa Paterson.
Ingram gav bevis för att Paterson, som arbetade på sjukhus som drivs av hjärtat av England NHS Trust och Spire Healthcare, berättade för honom 2006 att han var "på väg att utveckla bröstcancer".
Men Paterson, från Ashley, Altrincham, Greater Manchester, sade på onsdag att Ingrams minne hade blivit "förvirrat" med tiden.
Han beskrev sin patient som en "trubbig gentleman med multipla fobier - en av dem bröstcancer, eftersom hans mamma hade dött i bröstcancer, 42 år".
"Så när han hade en abnormitet i bröstkorgen väggen, i huvudet var han på väg att få bröstcancer," sade han.
"Mycket lite sa jag till honom därefter skulle förneka honom av den åsikten."
Åklagare Julian Christopher QC frågade om det var helt fel att säga att han skulle "resa i tid mot cancer".
Paterson sade: "Jag tvivlar på att jag sade det, helt enkelt för att ingen har en kristallkula."
Rättegången fortsätter.
En bröstkirurg som anklagats för att utföra onödiga operationer har sagt till en domstol att vittnesmål mot honom har "förföljts".