La prima moglie di Pepper, Vera Bythiner, fu assassinata ad Auschwitz e suo figlio Werner e Charlotte Kaletta sopravvissero alla guerra. Il 9 aprile 1953, il matrimonio tra Charlotte e Fritz fu riconosciuto retrospettivamente il 31 maggio 1937.