Rush sosteneva il cristianesimo tanto da paragonarsi al profeta Geremia. Egli frequentava regolarmente la chiesa di Cristo ed annoverava, tra i suoi amici più cari, William White. In una lettera a John Adams, Rush descrisse le sue opinioni religiose come un