Джон Байрон, ховаючись від кредиторів, виїхав до Королівства Франція, де помер у віці 36 років. На той час Джорджу виповнилося лише 3 роки, тому він уявляв батька лише з розповідей близьких йому людей, але до імені батька ставився з повагою.