**Across data selection methods**: We first take the same configuration as Section 4.2, where we have a starting source dataset of 40B tokens, use each of our data selection methods with \(R=0.25\) to select a subset of documents, and repeat over these documents until we reach the target token budget of 40B tokens. Note that this is at the 1.3B model scale. In Figure A13 we see that repeating data selected by both SemDeDup and SSL prototypes also outperforms randomly selecting new data. However, we quickly notice that for _fixed_ data selection strategy (e.g. _fixed_ column in Figure A13), repeating tokens either outperforms or matched selecting new tokens. In other words: cleverly repeating tokens can outperform randomly selecting new tokens, but if we fix the data selection strategy (random, SemDeDup, SSL prototypes, or D4) then it is usually preferable to select new tokens. We also note in Figure A16 that D4 outperforms other methods, although by a smaller margin than in the fixed-compute regime.
**데이터 선택 방법에 따른 차이**: 먼저 40B tokens의 시작 소스 데이터 세트가 있고, 각 데이터 선택 방법을 \(R=0.25\)와 함께 사용하여 문서의 하위 집합을 선택한 다음, 목표 token 예산인 40B tokens에 도달할 때까지 이러한 문서에 대해 반복하는 섹션 4.2와 동일한 구성을 사용합니다. 이는 1.3B 모델 규모에서 이루어진다는 점에 유의하세요. 그림 A13에서 보면 SemDeDup과 SSL 프로토타입으로 선택한 데이터를 반복하는 것도 무작위로 새로운 데이터를 선택하는 것보다 성능이 뛰어나다는 것을 알 수 있습니다. 그러나 _fixed_ 데이터 선택 전략(예: 그림 A13의 _fixed_ 열)의 경우 tokens을 반복하는 것이 새로운 tokens을 선택하는 것보다 성능이 뛰어나거나 일치한다는 것을 금방 알 수 있습니다. 즉, 영리하게 tokens을 반복하는 것이 무작위로 새로운 tokens을 선택하는 것보다 성능이 뛰어날 수 있지만, 데이터 선택 전략(random, SemDeDup, SSL prototypes, 또는 D4)을 고정하면 일반적으로 새로운 tokens을 선택하는 것이 바람직합니다. 또한 그림 A16에서 D4가 다른 방법보다 성능이 뛰어나지만 fixed-compute 체제보다 작은 폭 차이로 앞서 나가는 것을 확인할 수 있습니다.
**데이터 선택 방법에 따른 차이**: 먼저 40B 토큰의 시작 소스 데이터 세트가 있고, 각 데이터 선택 방법을 \(R=0.25\)와 함께 사용하여 문서의 하위 집합을 선택한 다음, 목표 토큰 예산인 40B 토큰에 도달할 때까지 이러한 문서에 대해 반복하는 섹션 4.2와 동일한 구성을 사용합니다. 이는 1.3B 모델 규모에서 이루어진다는 점에 유의하세요. 그림 A13에서 보면 SemDeDup과 SSL 프로토타입으로 선택한 데이터를 반복하는 것도 무작위로 새로운 데이터를 선택하는 것보다 성능이 뛰어나다는 것을 알 수 있습니다. 그러나 고정된_ 데이터 선택 전략(예: 그림 A13의 _고정_ 열)의 경우 토큰을 반복하는 것이 새로운 토큰을 선택하는 것보다 성능이 뛰어나거나 일치한다는 것을 금방 알 수 있습니다. 즉, 영리하게 토큰을 반복하는 것이 무작위로 새로운 토큰을 선택하는 것보다 성능이 뛰어날 수 있지만, 데이터 선택 전략(무작위, SemDeDup, SSL 프로토타입 또는 D4)을 고정하면 일반적으로 새로운 토큰을 선택하는 것이 바람직합니다. 또한 그림 A16에서 D4가 다른 방법보다 성능이 뛰어나지만 고정 컴퓨팅 체제보다 작은 폭 차이로 앞서 나가는 것을 확인할 수 있습니다.