Nato a Berlino da genitori molto poveri, Herz era destinato a una carriera mercantile, successivamente nel 1762 si trasferì a Königsberg, Prussia orientale; rinunciò molto presto alla sua posizione di impiegato e frequentò l'Università di Königsberg, diventando allievo e corrispondente di Kant, ma fu costretto a cessare i suoi studi per mancanza di mezzi. Fu assunto come segretario del russo Efraim, che viaggiava con lui attraverso le Province del Baltico. Il 21 agosto 1770 ebbe il ruolo di rispondente quando Kant discusse la sua dissertazione inaugurale per il ruolo di professore ordinario presso l'Università di Königsberg. Nel 1770 ritornò in Germania e studiò medicina a Halle, dove si laureò nel 1774, anno in cui si stabilì a Berlino e in cui diventò medico presso l'ospedale ebraico. A partire dal 1777, tenne lezioni pubbliche sulla medicina e la filosofia, avendo come ascoltatori personaggi di grande notorietà.