Paget nacque presso Great Yarmouth, in Inghilterra l'11 gennaio 1814. La sua famiglia apparteneva alle classi sociali alte, benestanti e colte, dato che il padre era un armatore ed il fratello Sir George Paget (1809-1892), divenne professore regio di fisica alla Università di Cambridge nel 1872.