Figure 4: **Combining multiple styles:** Perplexity across all domains of the Pile comparing combining multiple styles of synthetic data. Models are 1.3B parameters trained for a total of 150B tokens. We see small perplexity improvements from combining multiple styles.
그림 4: **여러 스타일 결합하기:** 파일의 모든 도메인에 걸친 Perplexity는 여러 스타일의 합성 데이터를 결합하는 것을 비교합니다. 모델은 총 150B 토큰에 대해 훈련된 1.3B 파라미터입니다. 여러 스타일을 결합하면 약간의 Perplexity가 개선되는 것을 볼 수 있습니다.
그림 4: **여러 스타일 결합하기:** 파일의 모든 도메인에 걸친 난해성은 여러 스타일의 합성 데이터를 결합하는 것을 비교합니다. 모델은 총 150B 토큰에 대해 훈련된 1.3B 파라미터입니다. 여러 스타일을 결합하면 약간의 난해성이 개선되는 것을 볼 수 있습니다.