Instruction SourcesAdditionally, we found it beneficial to include conversational data during pretraining. This is inspired by recent advances in neural machine translation, which highlight that the robust capabilities of LLMs in translation are due to the existence of accidental parallel data in the training corpus Anil et al. (2023); Briakou et al. (2023). Specifically, this means that we include the Super Natural Instruction Wang et al. (2022) and FLAN collection Longpre et al. (2023) during pretraining.
Instruction Sources또한, 사전 학습 중에 대화 데이터를 포함시키는 것이 유용하다는 것을 발견했습니다. 이는 최근 신경 기계 번역의 발전에서 영감을 받은 것으로, 번역 분야에서 LLMs의 강력한 기능은 학습 코퍼스에 우연히 평행한 데이터가 존재하기 때문이라는 점을 강조합니다 Anil et al. (2023); Briakou et al. (2023). 구체적으로, 이는 사전 학습 중에 Super Natural Instruction Wang et al. (2022) 및 FLAN 컬렉션 Longpre et al. (2023)을 포함한다는 것을 의미합니다.
명령어 소스또한, 사전 학습 중에 대화 데이터를 포함시키는 것이 유용하다는 것을 발견했습니다. 이는 최근 신경 기계 번역의 발전에서 영감을 받은 것으로, 번역 분야에서 LLM의 강력한 기능은 학습 코퍼스에 우연히 평행한 데이터가 존재하기 때문이라는 점을 강조합니다 Anil et al. (2023); Briakou et al. (2023). 구체적으로, 이는 사전 학습 중에 Super Natural Instruction Wang et al. (2022) 및 FLAN 컬렉션 Longpre et al. (2023)을 포함한다는 것을 의미합니다.