**Combining Instruction Tuning and Pre-Training.** To make the tuning process more effective and stable, OPT-IML [95] incorporates pre-training data during instruction tuning, which can be regarded as regularization for model tuning. Further, instead of using a separate two-stage process (_pre-training_ then _instruction tuning_), some studies attempt to train a model from scratch with a mixture of pre-training data (_i.e.,_ plain texts) and instruction tuning data (_i.e.,_ formatted datasets) using multi-task learning [82]. Specifically, GLM-130B [93] and Galactica [35] integrate instruction-formatted datasets as a small proportion of the pre-training corpora to pre-train LLMs, which potentially achieves the advantages of pre-training and instruction tuning at the same time.
**명령 튜닝과 사전 학습 결합하기**. 튜닝 프로세스를 보다 효과적이고 안정적으로 만들기 위해 OPT-IML [95]은 Instruction Tuning 중에 사전 학습 데이터를 통합하는데, 이는 모델 튜닝을 위한 정규화로 간주할 수 있습니다. 또한, 일부 연구에서는 별도의 2단계 프로세스(_사전 학습_ 및 _Instruction Tuning_)를 사용하는 대신 멀티태스크 학습[82]을 사용하여 사전 학습 데이터(_즉, 일반 텍스트)와 Instruction Tuning 데이터(_즉, 포맷된 데이터셋)를 혼합하여 처음부터 모델을 학습시키려고 시도합니다. 특히 GLM-130B [93] 및 Galactica [35]는 사전 학습 코퍼스의 일부로 명령 형식의 데이터 세트를 통합하여 LLM을 사전 학습함으로써 사전 학습과 Instruction Tuning의 장점을 동시에 달성할 수 있습니다.
**명령 튜닝과 사전 학습 결합하기**. 튜닝 프로세스를 보다 효과적이고 안정적으로 만들기 위해 OPT-IML [95]은 명령 튜닝 중에 사전 학습 데이터를 통합하는데, 이는 모델 튜닝을 위한 정규화로 간주할 수 있습니다. 또한, 일부 연구에서는 별도의 2단계 프로세스(_사전 학습_ 및 _명령 튜닝_)를 사용하는 대신 멀티태스크 학습[82]을 사용하여 사전 학습 데이터(_즉, 일반 텍스트)와 명령 튜닝 데이터(_즉, 포맷된 데이터셋)를 혼합하여 처음부터 모델을 학습시키려고 시도합니다. 특히 GLM-130B [93] 및 Galactica [35]는 사전 학습 코퍼스의 일부로 명령 형식의 데이터 세트를 통합하여 LLM을 사전 학습함으로써 사전 학습과 명령 튜닝의 장점을 동시에 달성할 수 있습니다.