Nel 1326, tornava a Firenze, e Carlo, Duca di Calabria, figlio primogenito del re Roberto d'Angiò (1309-1343) in guerra con Castruccio Castracani, lo nominò medico di corte, in contrapposizione con Dino del Garbo. Contrastato dal cancelliere, fra Raimondo vescovo di Aversa, entrò in antipatia del duca dopo un oroscopo negativo sulla di lui figlia (la futura Giovanna regina di Napoli) e per via di quello che divinava la prossima discesa in Italia dell'imperatore Ludovico il Bavaro.