Questo provocò un secondo e più massiccio intervento militare da parte di Firenze contro gli Alberti nel 1184.
Le truppe fiorentine occuparono nuovamente Pogni e distrussero la fortezza di Mangona, nel Mugello, dove lo stesso Conte Alberto IV fu fatto prigioniero.
In cambio della libertà il conte dovette accettare le dure condizioni di Firenze, che lo obbligavano a scapitozzare le torri difensive di Certaldo, a smantellare completamente la fortezza di Pogni e il castello di Semifonte, e a cedere a Firenze metà degli introiti dei dazi percepiti sulla via Francigena.
Certaldo restava sotto il controllo dei conti Alberti, ma le sue torre difensive vennero smantellate.