La carriera di James Clark volse irrimediabilmente al termine: lasciò il suo posto al brillante William Jenner e si ritirò a Bagshot Park, in Surrey, in una casa concessagli dalla regina. Lì, solo (la moglie Barbara scomparve nel 1862) ed incalzato da una bronchite cronica, morì il 29 giugno 1870 e fu sepolto pochi giorni dopo nel cimitero di Kensal Green.