Henry Vandyke Carter nacque nella Provincia di Hull ma, subito dopo, nello stesso anno (1831), i suoi genitori si trasferirono a Scarborough, dove lui crebbe. Il padre, Henry Barlow Carter era un'artista (come sarà in futuro il figlio), amante dei paesaggi marini e scelse il nome “Wandyke” in onore dell'artista fiammingo Sir Anthony Van Dyck. Le informazioni sulla vita privata di Carter sono note in buona parte, grazie al diario che sua nonna gli regalò all'età di 14 anni e che egli custodì gelosamente per tutta la vita. La sua famiglia, inoltre, era molto religiosa (di stampo protestante ma non anglicano) e, pertanto, Carter tenne il diario come una sorta di taccuino spirituale.