Ne approfittarono i Visconti che, alleandosi con i Carraresi, si inserirono in tempo per impossessarsi delle "spoglie" della signoria di Verona e di Vicenza.
Nel 1388, Gian Galeazzo Visconti si alleò con Venezia contro i da Carrara finché nel 1404, caduta la signoria dei Carraresi, Castelbaldo passò definitivamente sotto il controllo di Venezia.
Da quel momento, l'importanza strategico-militare di Castelbaldo andò via via diminuendo così che nel 1528 il Senato Veneto decise la demolizione della fortificazione .
Tutti i materiali furono trasportati a Legnago dove furono impiegati per la costruzione di una nuova roccaforte.