Четверо з п'яти його синів стали військовими: троє служили в Індійській армії і один — лікарем у Королівському військово-морському флоті. Батькову справу продовжував наймолодший з синів — Джон Едуард Скотт. 1862 року він одружився. Спочатку в Джона і Ганни народилися дві доньки: Роз і Етті.