**Model scale:** Due to compute limitations, the largest models we evaluated were 6.7B parameters trained on 100B tokens. While, to our knowledge, this is the largest to date application of embedding based data curation approaches, further investigation at model scales exceeding 100B would be very interesting, particularly in light of our observation that the efficiency gain grows with model scale.
**모델 규모:** 계산 제한으로 인해 우리가 평가한 가장 큰 모델은 100B 토큰으로 학습된 6.7B 매개변수 모델이었습니다. 우리가 아는 한, 이것은 임베딩 기반 데이터 큐레이션 접근법의 가장 큰 적용 사례입니다. 모델 규모가 100B를 초과하는 경우에 대한 추가 조사는 매우 흥미로울 것입니다. 특히, 효율성 향상이 모델 규모와 함께 증가한다는 우리의 관찰을 고려할 때 그렇습니다.
**모델 규모:** 컴퓨팅 제한으로 인해 평가한 가장 큰 모델은 1000억 토큰으로 학습된 67억 파라미터였습니다. 현재까지 임베딩 기반 데이터 큐레이션 접근 방식에 가장 큰 규모의 모델이지만, 특히 효율성 향상이 모델 규모에 따라 커지는 관찰에 비추어 1000억을 초과하는 모델 규모에서의 추가 조사는 매우 흥미로울 것입니다.