Footnote 9: We expect pretrained models have already been exposed to this pattern from their pretraining set. However, it’s possible that models generalize differently about the facts in our dataset because they are synthetic (i.e. generated by GPT-4).
Footnote 9: 우리는 사전 훈련된 모델들이 이미 사전 훈련 세트에서 이 패턴에 노출되었을 것으로 예상합니다. 그러나, 모델들이 우리 데이터셋의 사실들에 대해 다르게 일반화할 가능성도 있습니다. 이는 데이터셋이 합성적이기 때문입니다 (즉, GPT-4에 의해 생성됨).
각주 9: 사전 학습된 모델은 사전 학습 세트에서 이미 이 패턴에 노출되었을 것으로 예상합니다. 그러나 모델이 합성적이기 때문에(즉, GPT-4에 의해 생성된) 데이터 세트의 사실에 대해 다르게 일반화할 수 있습니다.