2. Despite the advantages of a larger dataset, the improvements saturate. For example, RefinedWeb (320B) model outperforms the RefinedWeb (160B) model by only 0.2%. Similarly, the TinyLlama model (1T tokens) performs comparably to the **WRAP** model, which only had 85B tokens of raw web data.
2. 더 큰 데이터 세트의 장점에도 불구하고 개선 효과는 포화 상태에 이릅니다. 예를 들어, RefinedWeb(320B) 모델은 RefinedWeb(160B) 모델보다 0.2%만 더 우수합니다. 마찬가지로 TinyLlama 모델(1T tokens)은 원시 웹 데이터가 85B tokens에 불과한 **WRAP** 모델과 비슷한 성능을 발휘합니다.
2. 더 큰 데이터 세트의 장점에도 불구하고 개선 효과는 포화 상태에 이릅니다. 예를 들어, RefinedWeb(320B) 모델은 RefinedWeb(160B) 모델보다 0.2%만 더 우수합니다. 마찬가지로 TinyLlama 모델(1T 토큰)은 원시 웹 데이터가 850억 토큰에 불과한 **WRAP** 모델과 비슷한 성능을 발휘합니다.