Poco si sa dell'educazione di Anthony, tuttavia, raggiunta l'età opportuna, si trasferì a York dallo zio materno e suo padrino, il dottor Anthony Hubback. Questi lo avviò allo studio della medicina, e alla sua morte, il giovane Carlisle si trasferì a studiare dal chirurgo William Green, che operava all'ospedale di Durham. Le cronache riportano che nel 1783 Anthony fece volare la prima mongolfiera nei cieli di Durham. 