Sposò Mary Elizabeth Whittal nel 1842 e hanno avuto otto figli. Nel 1880 fu raccolta una testimonianza pubblica per provvedere alle sue figlie dopo aver perso denaro a seguito di investimenti poco saggi. Una figlia, Henrietta, era sposata con il pittore e illustratore Henry Marriott Paget, il fratello maggiore degli illustratori Sidney e Walter Paget.Un'altra figlia, Florence Farr, è stata anche pittrice, artista e modella di molte famose opere d'arte art déco. I Paget e le sorelle Farr vivevano e lavoravano a Bedford Park, la famosa colonia di artisti nella zona ovest di Londra.