Nasce da John Rush e Susanna Hall. I suoi antenati emigrarono dall'Inghilterra alla Pennsylvania intorno al 1683. Il padre morì a 39 anni nel luglio del 1751, lasciando la madre, che gestiva un negozio di campagna, a prendersi cura della famiglia. 