Rummo fu anche un importante esponente politico. Fu consigliere comunale e provinciale e deputato al Parlamento per il Collegio di Benevento durante il governo Crispi nel 1895 e il governo Giolitti nel 1904. Fu membro del Consiglio Superiore della Pubblica Istruzione e si impegnò per la promozione di riforme sociali e della scuola. Rimase sempre molto legato ai problemi della sua terra natìa e cercò di incentivarne l'economia con varie iniziative, tra cui l'istituzione della Camera di Commercio di Benevento nel 1902. Ebbe un ruolo importante anche nella raccolta dei fondi per finanziare gli scavi del Teatro romano di Benevento.