Il 7 giugno Pio IV lo fece arrestare, assieme ad altri tre noti esponenti della famiglia, per gli abusi di potere esercitati durante il precedente pontificato.
Carlo fu accusato di aver indotto lo zio pontefice a scatenare un'insensata guerra contro la potente Spagna, nonché di eresia per aver trattato con il sultano turco.
Il fratello Giovanni fu accusato di aver fatto strangolare la moglie per adulterio e per avere personalmente ucciso il suo amante.
Essa decadeva con la morte del pontefice che aveva effettuato la nomina.