Він був старшим з трьох синів у єврейській сім'ї заможного будапештського банкіра Макса Неймана () і Маргарет Канн (). Янош, або просто «Янсі», був незвичайно обдарованою дитиною, цікавився математикою, природою чисел і логікою навколишнього світу.