Nel 1950 Szilagyi sposò Evelyn Harper dalla quale ebbe due figlie. Malauguratamente Evelyn morì di un carcinoma della mammella all'età di 63 anni e Szilagyi, dopo tre anni di lutto, incontrò Sally Stritch Bolton con la quale si unì, in seguito, in matrimonio e convisse per i successivi vent'anni di vita.