Appena divenuto per la prima volta Ministro della Pubblica Istruzione (1881), Baccelli, approfittando del fatto che a quel tempo da tale Ministero dipendeva la Direzione generale delle antichità e belle arti, promosse una importante campagna di restauri del Pantheon, volti a riportare tale monumento al suo primitivo splendore. Baccelli fece isolare il monumento dagli edifici che nel corso del tempo lo avevano un po' soffocato, fece abbattere i due discussi campanili (le "orecchie d'asino" come le definiva il popolino romano) costruiti nel '600 da Gian Lorenzo Bernini e, nonostante il parere contrario del grande storico Theodor Mommsen, fece collocare sul frontale del tempio restaurato delle lettere di bronzo uguali a quelle che vi apparivano nell'antichità per ricordare l'opera di Agrippa: M.AGRIPPA.L.F.COS.TERTIVM.FECIT (Marco Agrippa, figlio di Lucio, console per la terza volta, edificò).