We also investigate whether the differences between validation sets in Figure 5 is due to training set size. We would expect that smaller training sets are "further" from validation sets, since (). Indeed we see this in Figure A9. However, we observe that the relative ordering of validation sets (with respect to average distance to the training set) remains the same for any fixed training dataset size. Moreover, we see in Figure A10 that the relative ranking of all validation sets as well as the jump from web-derived to web-independent validation sets from the original Figure 5 holds, even as we reduce training dataset size.
또한 Figure 5의 validation set 간의 차이가 training set 크기 때문인지 조사합니다. training set이 작을수록 validation set에서 "더 멀리" 떨어져 있을 것으로 예상할 수 있습니다. 실제로 Figure A9에서 이를 확인할 수 있습니다. 그러나 고정된 training dataset 크기에 대해 validation set의 상대적 순서(average distance to the training set 기준)가 동일하게 유지되는 것을 관찰할 수 있습니다. 또한 Figure A10에서 원래 Figure 5에서 web-derived validation set에서 web-independent validation set으로의 점프뿐만 아니라 모든 validation set의 상대적 순위가 training dataset 크기를 줄여도 유지되는 것을 확인할 수 있습니다.
또한 그림 5의 유효성 검사 집합 간의 차이가 훈련 집합 크기 때문인지 조사합니다. 훈련 집합이 작을수록 () 때문에 유효성 검사 집합에서 "더 멀리" 떨어져 있을 것으로 예상할 수 있습니다. 실제로 그림 A9에서 이를 확인할 수 있습니다. 그러나 고정된 훈련 데이터 세트 크기에 대해 유효성 검사 집합의 상대적 순서(훈련 집합과의 평균 거리 기준)가 동일하게 유지되는 것을 관찰할 수 있습니다. 또한 그림 A10에서 원래 그림 5에서 웹 기반 유효성 검사 집합에서 웹 독립 유효성 검사 집합으로의 점프뿐만 아니라 모든 유효성 검사 집합의 상대적 순위가 훈련 데이터 세트 크기를 줄여도 유지되는 것을 확인할 수 있습니다.