Rush è stato un discendente di William Penn (1644-1718). Prima della guerra d'indipendenza, Rush ebbe una relazione sentimentale con Sarah Eve, figlia del Capitano Oswell Eve, ma ella morì prima del loro matrimonio.