Rush fu anche membro fondatore della Società di Filadelfia per alleviare la miseria delle prigioni pubbliche (conosciuta oggi come la Pennsylvania Prison Society), società che ha ottenuto la costruzione dell'Eastern State Penitentiary. Si occupò di politica anche dopo il periodo rivoluzionario, sostenendo, nella campagna elettorale del 1796, la candidatura alla presidenza di Thomas Jefferson, che invece ottenne l’elezione a vicepresidente, in quanto il rivale John Adams ottenne un maggior numero di consensi.