Secondo Rush, le esecuzioni pubbliche, erano controproducenti. Egli propose invece un percorso di reclusione dedito al lavoro, un percorso di solitudine e di dedizione all'istruzione religiosa. Si oppose dunque alla pena di morte e ciò spinse la legislatura della Pennsylvania ad abolire la pena capitale per tutti i reati diversi dall'omicidio. Rush scrisse un trattato del 1792 raccogliendo le proprie motivazioni contro la pena capitale, riassunte in tre punti