Von Willebrand nacque a Vaasa, all'epoca parte del Granducato di Finlandia nell'Impero russo. Fu il terzo figlio di Fredrik Magnus von Willebrand e Signe Estlander. Fredrik ebbe un'educazione militare e più tardi divenne un ingegnere. Von Willebrand apparteneva a una nobile famiglia tedesca; I suoi antenati si trasferirono in Finlandia nel XVIII secolo.