Батьки не ладнали, бо мати була протестанткою, а батько — вільнодумцем. Однією з умов її роботи було те, що їй не дозволялося мати в маєтку житлову площу для чоловіка та дітей. Після цього вони з Джозефом жили окремо.