Nel 1741, Brownrigg sposò Mary Spedding. Il padre e lo zio di lei gestivano le miniere di carbone per conto di James Lowther, la cui famiglia aveva trasformato Whitehaven in un importante porto marittimo. Ciò aumentò l'influenza locale di Brownrigg e promosse anche il suo interesse per la salute e il benessere dei minatori.