Si affermava che Silverio avrebbe offerto al re di lasciare segretamente aperta una delle porte della città in modo da consentire l'ingresso dei goti e liberare Roma dai bizantini.
Convocato l'11 marzo 537 da Belisario per discolparsi, il papa non riuscì a confutare le accuse, quindi fu arrestato, spogliato del suo abito episcopale, vestito con una tonaca da monaco e spedito in esilio a Patara, in Licia.
Un suddiacono annunciò al popolo che Silverio non era più papa.
Il 29 dello stesso mese, su imposizione di Belisario, Vigilio fu consacrato vescovo di Roma al suo posto.