Certaldo così, come tutti gli altri castelli della Valdelsa, entrava in guerra nello schieramento Albertiano.
Firenze inviò una prima spedizione militare nel 1182.
Con l'occupazione del castello di Pogni, vicino a Certaldo, da parte di Firenze, gli Alberti bloccarono la costruzione di Semifonte, ripresa dopo appena due anni.
Questo provocò un secondo e più massiccio intervento militare da parte di Firenze contro gli Alberti nel 1184.