Sacks nacque il 9 luglio 1933 a Londra in Inghilterra, il più giovane di quattro fratelli di una coppia di ebrei. Il padre Samuel Sacks, morto nel giugno del 1990, era un dottore in medicina interna e sua madre Muriel Elsie Landau fu una tra i primi chirurghi donna in Inghilterra. La vasta famiglia di Oliver vanta la presenza di importanti personalità, come Abba Eban, statista israeliano, Jonathan Lynn, scrittore e regista, e l'economista Robert Aumann. All'età di sei anni Sacks fu fatto sfollare dai genitori, insieme al fratello, da Londra a causa degli attacchi aerei tedeschi, e a rifugiarsi in un collegio nelle Midlands dove, oltre alla malnutrizione, dovette fare i conti con le crudeli punizioni subite per mano del preside.