included in the original training corpus is supported by the low QA performance in Tab. 1 (9.5%/17.2% for 7B/70B).4 To accelerate the training process, we only use the first section of each article, which offers a thorough summary and contains many factual statements. The number of collected documents and an example document about "Oppenheimer" can be found in Fig. 2 and Fig. 3. We refer to this as the Wiki2023 dataset.
원본 훈련 코퍼스에 포함된 내용은 Tab. 1의 낮은 QA 성능(7B/70B의 경우 9.5%/17.2%)에 의해 뒷받침됩니다. 훈련 과정을 가속화하기 위해 각 기사에서 첫 번째 섹션만 사용하며, 이는 철저한 요약을 제공하고 많은 사실적 진술을 포함합니다. 수집된 문서의 수와 "오펜하이머"에 관한 예시 문서는 Fig. 2와 Fig. 3에서 확인할 수 있습니다. 이를 Wiki2023 데이터셋이라고 부릅니다.
원본 학습 코퍼스에 포함된 것은 Tab. 1의 낮은 QA 성능(7B/70B의 경우 9.5%/17.2%)에 의해 뒷받침됩니다.4 훈련 과정을 가속화하기 위해 각 문서의 첫 번째 섹션만 사용하며, 이 섹션은 철저한 요약을 제공하고 많은 사실에 대한 진술을 포함합니다. 수집된 문서의 수와 "오펜하이머"에 대한 예시 문서는 그림 2와 그림 3에 나와 있습니다. 이를 Wiki2023 데이터 세트라고 합니다.