Baltimore è nato il 7 marzo, 1938 a New York, figlio di Gertrude (Lipschitz) and Richard Baltimore. Cresciuto nei vicinati dei Queens di Forest Hills e Rego Park, Queens, si trasferì con la propria famiglia nel Great Neck, New York, mentre era al secondo anno scolastico perché sua madre riteneva inadeguate le scuole cittadine. Suo padre è cresciuto come ebreo ortodosso e sua madre era atea, ma Baltimore rispettò le festività ebree e andò nelle sinagoghe con suo padre durante il suo Bar mitzvah. Venne promosso alla Great Neck High School nel 1956, e sviluppò il suo interesse per la biologia durante un'estate liceale passata al Jackson Laboratory's Summer Student Program in Bar Harbor, Maine.