Nel 1879 Kellogg sposa Ella Eaton, di Alfred Center, New York. Credendo che il sesso porti malattie, soprattutto negli uomini, Kellogg è determinato a vivere una vita simile a quella di un celibe. Infatti, nonostante fossero sposati i due non dormivano nella stessa camera da letto. Anche per questo non avevano figli naturali, bensì 42 bambini adottivi.