Visse la propria professione con profonda passione e dedizione e, anche per questo motivo, rinunciò a farsi una famiglia propria. Si concesse rarissime volte delle vacanze, tra le sue passioni che lo distraevano dal lavoro vi furono certamente la caccia con i cani e il tennis. Amante del bello e appassionato di arte, fu affezionato amico del pittore e poi sindaco di Treviglio Attilio Mozzi, suo fedele consigliere artistico e poi, successivamente dell'artista Trento Longaretti; mise insieme una notevole raccolta di opere che con lascito testamentario del 30 aprile 1960 il Prof. Pier Luigi Della Torre dispose di lasciare al Comune di Treviglio perché fosse istituito un museo intitolato ai suoi genitori, il Museo Ernesto e Teresa Della Torre, la seconda pinacoteca per importanza in provincia di Bergamo. Nella collezione vi sono, tra le altre, opere di Rembrandt, Guercino, Correggio, Giambono. Il museo è stato successivamente arricchito con altri lasciti. Fu inoltre un grande esperto e appassionato di tappeti orientali.