Figure 13: Perplexity across all domains of the Pile comparing combining multiple styles of synthetic data. Models are 350M parameters trained for a total of 75B tokens.
Figure 13: 여러 스타일의 합성 데이터를 결합하여 Pile의 모든 도메인에서의 Perplexity를 비교한 것입니다. 모델은 총 75B 토큰으로 훈련된 350M 파라미터입니다.
그림 13: 여러 스타일의 합성 데이터 결합을 비교하는 Pile의 모든 도메인에 걸친 난해함. 모델은 총 750억 토큰에 대해 학습된 3억 5천만 개의 파라미터입니다.