Nel 1573, su insistenza di un suo amico, decise di trasferirsi a Milano, dove era consapevole di essere molto noto. A Milano però non ebbe il successo sperato e dopo aver perso tre pazienti, accusato dal Collegio milanese, di applicare una medicina non conforme a quella tradizionale, fu imprigionato per otto giorni. La vicenda fu vista da Fioravanti come un grande disonore, ampliato dal fatto che in questa data aveva già conseguito la laurea in Medicina e Filosofia a Bologna. Il medico dal carcere chiese, al Collegio milanese, un pubblico duello terapeutico, in cui avrebbe dimostrato l'efficacia della sua medicina; le vicende si conclusero comunque con un nulla di fatto.