Figure 2: Comparison of data selection methods on validation perplexity. Each point denotes a 1.3B OPT model trained on 40B tokens. The x-axis denotes the selection ratio \(R\). The y-axis for the top 2 and bottom left graph depicts perplexity; the bottom right graph is average downstream on 16 NLP tasks from Zhang et al. [59]. The grey line denotes the value for baseline training. Shaded error is standard error across 3 seeds. **Each point on this graph is trained on the same token budget**: when we decrease \(R\), we jointly increase the size of the source dataset (e.g. choosing 1/4 of documents from a 4x’ed sized source dataset).
그림 2: 유효성 검사 perplexity에 대한 데이터 선택 방법 비교. 각 점은 40B tokens으로 학습된 1.3B OPT 모델을 나타냅니다. x축은 선택 비율 \(R\)을 나타냅니다. 위쪽 2와 왼쪽 아래 그래프의 y축은 perplexity를 나타내고, 오른쪽 아래 그래프는 Zhang 등[59]의 16개 NLP 작업의 평균 downstream입니다. 회색 선은 baseline 훈련의 값을 나타냅니다. 음영 처리된 오차는 3개의 seed에 대한 표준 오차입니다. **이 그래프의 각 점은 동일한 token 예산으로 훈련됩니다**: \(R\)을 줄이면 소스 데이터 세트의 크기(예: 4배 크기의 소스 데이터 세트에서 문서의 1/4 선택)를 공동으로 늘립니다.
그림 2: 유효성 검사 난해함에 대한 데이터 선택 방법 비교. 각 점은 40B 토큰으로 학습된 1.3B OPT 모델을 나타냅니다. x축은 선택 비율 \(R\)을 나타냅니다. 위쪽 2와 왼쪽 아래 그래프의 y축은 난해함을 나타내고, 오른쪽 아래 그래프는 Zhang 등[59]의 16개 NLP 작업의 평균 다운스트림입니다. 회색 선은 기준선 훈련의 값을 나타냅니다. 음영 처리된 오차는 3개의 시드에 대한 표준 오차입니다. **이 그래프의 각 점은 동일한 토큰 예산으로 훈련됩니다**: R\을 줄이면 소스 데이터 세트의 크기(예: 4배 크기의 소스 데이터 세트에서 문서의 1/4 선택)를 공동으로 늘립니다.