Footnote 14: GPT-2 was initially pretrained on WebText (Dec 2019), which consists of 8 million documents with Wikipedia pages excluded. In order to measure the performance on InvariantLAMA constructed from Wikipedia, we continually pretrain GPT-2 on a subset of Wikipedia (May 2020) for 14k global training steps before CKL.
각주 14: GPT-2는 처음에 Wikipedia 페이지가 제외된 800만 개의 문서로 구성된 WebText(2019년 12월)로 pretrained 되었습니다. Wikipedia에서 구성된 InvariantLAMA의 성능을 측정하기 위해 CKL 이전에 Wikipedia의 하위 집합에 대해 14,000개의 글로벌 훈련 단계 동안 GPT-2를 지속적으로 pretrained 합니다(2020년 5월).
각주 14: GPT-2는 처음에 Wikipedia 페이지가 제외된 800만 개의 문서로 구성된 WebText(2019년 12월)로 사전 학습을 거쳤습니다. 위키피디아에서 구성된 InvariantLAMA의 성능을 측정하기 위해 CKL 이전에 위키피디아의 하위 집합에 대해 14,000개의 글로벌 훈련 단계 동안 GPT-2를 지속적으로 사전 훈련합니다(2020년 5월).