L'11 gennaio 1776 Rush sposò Julia Stockton (1759-1848), figlia di Richard Stockton, un altro firmatario della Dichiarazione di Indipendenza, e di Annis Boudinot Stockton. Ebbero 13 figli, 9 dei quali riuscirono a sopravvivere oltre il primo anno di età: John, Ann Emily, Richard, Susannah (morta da bambina), Elizabeth Graeme (morta da infante), Mary B, James, William (morto da bambino), Benjamin (morto da bambino), Julia, Samuel. 