RQ5: How does the style of synthetic data impact performance on specialized domains?We compare the performance of various models trained on different styles of synthetic data. In particular, we generate four styles of synthetic data (easy, medium, hard, and Q/A) and evaluate the performance of training on combinations of each style across File subsets. The prompts to generate these synthetic data styles are outlined in Appendix G. Results corresponding to generations from a Vicuna-v1.3 model, and for a 128M model trained for 3B tokens are summarized in Figure 7. We see that training with combinations of real C4 and synthetic data matching the style of the domain at evaluation improves performance. However, we find that no single synthetic data style performs the best across all domains, resulting in similar performance across training with combinations of real C4 data and each synthetic style variant. While knowing the best synthetic style to pre-train an LLM is impractical, an oracle that selects the best synthetic style across all domains will improve perplexity by 16%--indicating the importance of training with diverse data styles for LLM generalization, even when the underlying knowledge stays the same.
RQ5: 합성 데이터의 스타일이 특수 도메인에서의 성능에 어떤 영향을 미치나요? 다양한 스타일의 합성 데이터로 학습된 다양한 모델의 성능을 비교합니다. 특히, 네 가지 스타일의 합성 데이터(easy, medium, hard, and Q/A)를 생성하고 각 스타일의 조합에 대한 학습 성능을 파일 하위 집합에 대해 평가합니다. 이러한 합성 데이터 스타일을 생성하기 위한 prompts는 부록 G에 요약되어 있습니다. Vicuna-v1.3 모델에 해당하는 결과와 3B tokens에 대해 128M 모델을 학습한 결과는 그림 7에 요약되어 있습니다. 평가 시 도메인 스타일에 맞는 실제 C4와 합성 데이터의 조합으로 훈련하면 성능이 향상되는 것을 알 수 있습니다. 그러나 모든 도메인에서 단일 합성 데이터 스타일이 가장 성능이 좋은 것은 아니며, 실제 C4 데이터와 각 합성 스타일 변형의 조합으로 훈련할 때 비슷한 성능을 보이는 것으로 나타났습니다. LLM을 사전 학습하는 데 가장 적합한 합성 스타일을 아는 것은 비현실적이지만, 모든 도메인에서 가장 적합한 합성 스타일을 선택하는 오라클은 perplexity를 16% 개선하여 기본 지식은 동일하게 유지하더라도 LLM 일반화를 위해 다양한 데이터 스타일로 학습하는 것이 중요하다는 것을 나타냅니다.
RQ5: 합성 데이터의 스타일이 특수 도메인에서의 성능에 어떤 영향을 미치나요?다양한 스타일의 합성 데이터로 학습된 다양한 모델의 성능을 비교합니다. 특히, 네 가지 스타일의 합성 데이터(쉬움, 중간, 어려움, Q/A)를 생성하고 각 스타일의 조합에 대한 학습 성능을 파일 하위 집합에 대해 평가합니다. 이러한 합성 데이터 스타일을 생성하기 위한 프롬프트는 부록 G에 요약되어 있습니다. Vicuna-v1.3 모델에 해당하는 결과와 3B 토큰에 대해 128M 모델을 학습한 결과는 그림 7에 요약되어 있습니다. 평가 시 도메인 스타일에 맞는 실제 C4와 합성 데이터의 조합으로 훈련하면 성능이 향상되는 것을 알 수 있습니다. 그러나 모든 도메인에서 단일 합성 데이터 스타일이 가장 성능이 좋은 것은 아니며, 실제 C4 데이터와 각 합성 스타일 변형의 조합으로 훈련할 때 비슷한 성능을 보이는 것으로 나타났습니다. LLM을 사전 학습하는 데 가장 적합한 합성 스타일을 아는 것은 비현실적이지만, 모든 도메인에서 가장 적합한 합성 스타일을 선택하는 오라클은 난해성을 16% 개선하여 기본 지식은 동일하게 유지하더라도 LLM 일반화를 위해 다양한 데이터 스타일로 학습하는 것이 중요하다는 것을 나타냅니다.