Anthony Carlisle era il terzogenito di Thomas Carlisle e della sua prima moglie, Barbara Hubback, figlia di John ed Elizabeth Hubback di Coopen (o Cowpen) Bowley, vicino a Billingham, Durham. Barbara morì dando alla luce Anthony, il quale fu allevato da Susannah Skottowe, sposata in seconde nozze dal padre. Susannah era figlia di Thomas Skottowe, il quale impiegò nella sua fattoria il padre del Capitano James Cook, e insegnò al piccolo James a leggere, a scrivere e alcuni rudimenti di aritmetica. 