Unlike pre-training, instruction tuning is often more efficient since only a moderate number of instances are used for training. Since instruction tuning can be considered as a supervised training process, its optimization is different from pre-training in several aspects [69], such as the training objective (_i.e.,_ sequence-to-sequence loss) and optimization configuration (_e.g.,_ smaller batch size and learning rate), which require special attention in practice.
사전 학습과 달리, Instruction Tuning은 적당한 수의 인스턴스만 학습에 사용되기 때문에 더 효율적인 경우가 많습니다. Instruction Tuning은 지도 학습 프로세스로 간주할 수 있으므로, 훈련 목표(_즉, 시퀀스-투-시퀀스 Loss) 및 최적화 구성(_예: 더 작은 Batch Size 및 Learning Rate)과 같은 몇 가지 측면에서 사전 훈련과 최적화가 다르므로 실제로는 특별한 주의가 필요합니다.
사전 학습과 달리, 지침 튜닝은 적당한 수의 인스턴스만 학습에 사용되기 때문에 더 효율적인 경우가 많습니다. 지침 튜닝은 지도 학습 프로세스로 간주할 수 있으므로, 훈련 목표(_즉, 시퀀스-투-시퀀스 손실) 및 최적화 구성(_예: 더 작은 배치 크기 및 학습 속도)과 같은 몇 가지 측면에서 사전 훈련과 최적화가 다르므로 실제로는 특별한 주의가 필요합니다.