Nel 1545 ebbero il loro primo figlio, François, che però morì dopo pochi mesi, con grande dolore dei genitori. Un secondo figlio, Isaac, arrivò nel 1559, 14 anni dopo, ma morì anche lui nel 1560. Nello stesso anno ebbero una figlia, Catherine, l'unica che riuscì a superare l'infanzia. I due coniugi inoltre crebbero i figli dei fratelli di Ambroise, che erano rimasti orfani.