Nel 1979 morì annegato a seguito di un ictus, a 67 anni, mentre nuotava a pochi metri dalla riva dell'oceano Atlantico. Fu sepolto nel cimitero di Nostra Signora del Rosario, a Embu das Artes, sotto la falsa identità di Wolfgang Gerhard. La sua tomba venne scoperta nel 1985, la salma venne riesumata nel 1992 e il suo DNA confrontato con quello del fratello, che inizialmente si rifiutò di fornirlo, ma cambiò idea su pressioni del governo tedesco. L'esame accertò, con una probabilità pari al 99,69%, che la persona lì sepolta fosse effettivamente Josef Mengele. I resti del criminale nazista furono conservati in un magazzino dell'istituto di medicina legale di San Paolo del Brasile e oggi le ossa sono a disposizione degli studenti di medicina per i loro studi. Ebbe il tempo di vedere realizzati due noti film a lui ispirati: "Il maratoneta" del 1976 e, l'anno prima di morire, "I ragazzi venuti dal Brasile".