Probabilmente furono le calunnie, che riguardavano il rapporto di un vagabondo squattrinato con una ricca vedova di otto anni maggiore di lui, a ricadere su Dunant. I danni e le ostilità messe in opera dai nemici incisero profondamente nella mente di un uomo che aveva perso il pieno equilibrio psichico. A Lugano nel 1877 pubblicò un pamphlet violentemente anti-cattolico e pieno di risentimento anche nei confronti dei francesi, dai quali avrebbe subito un continuo e assillante controllo. In quel periodo cominciò ad errare per l'Europa senza trovare un luogo sicuro. Nel 1877-78 fu accompagnato da Madame Kastner, ma dopo il 1880, pur continuando la loro corrispondenza ed i finanziamenti annuali con cui lei pagava i soggiorni termali che Dunant compiva per curarsi, decisero di non vedersi più per rompere la catena delle maldicenze.