Në vitin 1869 Sumneri dha dorëheqjen, por vazhdoi të jetonte në rezidencën zyrtare në Farnham deri në vdekjen e tij më 15 gusht 1874.
Në vitin 1874, Sumneri vdiq më shumë se dy javë deri në muajin gusht të vitit 1874.