Brownrigg morì nel 1800 a Ormthwaite Hall vicino Keswick (Cumbria) e fu sepolto nella chiesa di Crosthwaite, dove la sua bara fu portata da tre baronetti e da altri nobili locali. Il suo amico e biografo Joshua Dixon sentiva che la sua importanza e abilità erano state trascurate a causa della sua modestia e riluttanza a lasciare la sua contea natale di Cumberland in età avanzata.