\(\bullet\)_Optimizing data mixtures._ In addition to manually setting the data mixtures, several studies have proposed to optimize the data mixtures for improving the model pre-training [59, 231]. Given the target downstream tasks, one can select pre-training data with either higher proximity in the feature space [231] or those that provide positive influences on downstream task performance [232]. Further, to reduce the reliance of target tasks, DoReMi [59] first trains a small reference model using given initial domain weights, and then trains another small proxy model, upweighting the domains on which the greatest discrepancies in likelihood between the two models are observed. Finally, the learned domain weights of the proxy model are applied to train a much larger LLM. In a more simple way, one can train several small language models with different data mixtures, and select the data mixture that leads to the most desirable performance. However, an assumption made in this approach is, when trained in a similar way, small models would resemble with large models in model abilities or behaviors, which may not always hold in practice.
\(\bullet\)_데이터 혼합 최적화._ 데이터 혼합을 수동으로 설정하는 것 외에도, 여러 연구에서는 모델 사전 학습을 개선하기 위해 데이터 혼합을 최적화하는 방법을 제안했습니다 [59, 231]. 목표 하위 작업을 고려할 때, 특징 공간에서 더 높은 근접성을 가진 사전 학습 데이터를 선택하거나 [231], 하위 작업 성능에 긍정적인 영향을 미치는 데이터를 선택할 수 있습니다 [232]. 또한, 목표 작업에 대한 의존성을 줄이기 위해, DoReMi [59]는 먼저 주어진 초기 도메인 가중치를 사용하여 작은 참조 모델을 훈련한 다음, 두 모델 간의 가능성에서 가장 큰 차이가 관찰되는 도메인을 상향 조정하여 또 다른 작은 프록시 모델을 훈련합니다. 마지막으로, 프록시 모델의 학습된 도메인 가중치를 사용하여 훨씬 더 큰 LLM을 훈련합니다. 더 간단한 방법으로는, 여러 작은 언어 모델을 다양한 데이터 혼합으로 훈련하고, 가장 바람직한 성능을 이끄는 데이터 혼합을 선택할 수 있습니다. 그러나 이 접근 방식에서 가정하는 것은, 유사한 방식으로 훈련될 때 작은 모델이 큰 모델과 모델 능력이나 행동에서 유사할 것이라는 점인데, 이는 실제로 항상 성립하지 않을 수 있습니다.
\(\bullet\)_데이터 혼합물 최적화._ 데이터 혼합물을 수동으로 설정하는 것 외에도, 여러 연구에서 모델 사전 학습을 개선하기 위해 데이터 혼합물을 최적화할 것을 제안했습니다[59, 231]. 목표 다운스트림 작업이 주어지면 특징 공간에서 더 가까운 근접성을 가진 사전 학습 데이터를 선택하거나 다운스트림 작업 성능에 긍정적인 영향을 미치는 데이터를 선택할 수 있습니다[231]. 또한, DoReMi [59]는 주어진 초기 도메인 가중치를 사용하여 작은 참조 모델을 먼저 훈련한 다음, 두 모델 간의 가능성에서 가장 큰 차이가 관찰되는 도메인을 가중치화하여 또 다른 작은 프록시 모델을 훈련합니다. 마지막으로 프록시 모델의 학습된 도메인 가중치를 적용하여 훨씬 더 큰 LLM을 훈련합니다. 더 간단한 방법으로, 다양한 데이터 혼합으로 여러 개의 소규모 언어 모델을 훈련하고 가장 바람직한 성능을 이끌어내는 데이터 혼합을 선택할 수 있습니다. 그러나 이 접근 방식에서 가정하는 것은 비슷한 방식으로 훈련되면 작은 모델이 큰 모델과 모델 능력이나 행동이 유사하다는 것인데, 이는 실제로 항상 맞는 것은 아닙니다.