Prestò servizio nell'esercito tedesco durante la prima guerra mondiale e in seguito, nel 1926, sposò Vera Bythiner (31 marzo 1904 - 30 settembre 1942), nata a Posen nella Germania Imperiale (ora Poznań, Polonia). Il matrimonio produsse un figlio, Werner Peter Pfeffer (3 aprile 1927 - 14 febbraio 1995), poi la coppia divorziò nel 1932. Fritz ottenne il permesso di accudirlo fino al novembre 1938, quando l'ondata crescente dell'attività nazista in Germania lo persuase a mandarlo alle cure di suo fratello, Ernst, in Inghilterra. Werner emigrò in California nel 1945 dopo la morte dello zio e cambiò il suo nome in Peter Pepper, stabilendo successivamente una società di forniture per ufficio di successo con quel nome.L'ondata di antisemitismo in Germania, aumentata dall'elezione di Adolf Hitler nel 1933, costrinse la maggior parte dei parenti di Fritz a fuggire dal paese. Sua madre era morta nel 1925; suo padre si risposò e rimase in Germania, morì a Theresienstadt nell'ottobre del 1942. Suo fratello maggiore, Julius Pfeffer, morì nel 1928, Emil Pfeffer emigrò in Sud Africa nel 1937, Ernst Pfeffer si trasferì in Inghilterra e morì nel 1944, e Hans partì per il New Jersey. La loro sorella, Minna, rimase con il loro padre in Germania e morì in custodia nazista. Vera fuggì in Olanda ma fu arrestata nel 1942 e morì ad Auschwitz.