I cristiani universalisti lo considerano uno dei loro fondatori, sebbene Rush non condivise più tale orientamento religioso dopo la morte del suo amico, l'ex pastore battista Elhanan Winchester nel 1797. Contribuì a fondare la Bible Society a Philadelphia (ora nota come Pennsylvania Bible Society), e sostenne l'American Sunday School Union. Quando molte scuole pubbliche si rifiutarono di adottare la Bibbia come libro di testo, Rush propose che il governo degli Stati Uniti imponesse tale uso, oltre a fornire una Bibbia americana ad ogni famiglia, a spese statali. Forte era il senso religioso tanto che, nel 1806, Rush propose di inscrivere sui portoni dei palazzi di giustizia e di altri edifici pubblici: