La moda di Peter nella società inglese si spense quasi subito, dopo meno di un anno, contemporaneamente alla rinuncia di Arbuthnot all'incarico di educare il ragazzo. Tramite la signora Titchbourn, dama di corte della regina, egli fu affidato a un fattore dello Hertfordshire, James Fenn, e dopo la morte di questi al fratello Thomas di Berkhamsted.