Figure A15: Comparison of repeating tokens with D4 (pink line), randomly selecting new tokens (horizontal dashed gray line), and randomly repeating data (gray line). We see across model scales (top: 125M trained on 3B tokens; middle: 1.3B trained on 40B tokens; bottom: 6.7B trained on 100B tokens) and data selection ratios, repeating data selected by D4 outperforms randomly selecting new data.
그림 A15: D4로 반복 토큰(분홍색 선), 새 토큰을 무작위로 선택(가로 점선 회색 선), 데이터를 무작위로 반복(회색 선)을 비교한 결과입니다. 모델 규모(위: 3B tokens에 대해 학습된 125M, 가운데: 40B tokens에 대해 학습된 1.3B, 아래: 100B tokens에 대해 학습된 6.7B)와 데이터 선택 비율에 걸쳐 D4에 의해 선택된 데이터를 반복하는 것이 새 데이터를 무작위로 선택하는 것보다 성능이 뛰어납니다.
그림 A15: D4로 반복 토큰(분홍색 선), 새 토큰을 무작위로 선택(가로 점선 회색 선), 데이터를 무작위로 반복(회색 선)을 비교한 결과입니다. 모델 규모(위: 3B 토큰에 대해 학습된 125M, 가운데: 40B 토큰에 대해 학습된 1.3B, 아래: 100B 토큰에 대해 학습된 6.7B)와 데이터 선택 비율에 걸쳐 D4에 의해 선택된 데이터를 반복하는 것이 새 데이터를 무작위로 선택하는 것보다 성능이 뛰어납니다.