Instruction Following.Synthetic data can serve as a promising approach for training instruction-following models, particularly in scenarios where real-world data is scarce, expensive, or challenging to obtain. Self-instruct (Wang et al., 2022a) and Stanford Alpaca (Taori et al., 2023) are both using LLMs to generate instruction following data which covers a wide range of scenarios. They first pick a small set of "seed instruction following samples" and then ask the LLMs to imitate the format to generate more demonstrations. One concern of this type of method is how to keep the generated data high quality, which involves the complexity of queries (Liu et al., 2023d), the diversity of semantics (Ding et al., 2023), and the scale of the synthetic dataset (Yuan et al., 2023). To this end, Xu et al. (2023) propose Evol-Instruct which adds complexity to simple instructions via prompting. Mukherjee et al. (2023) leverage LLMs to revise the instructions and responses iteratively to include high-quality explanation traces in the FLAN dataset (Wei et al., 2022), and they find the trained model has improved performance in many NLP tasks. UltraChat (Ding et al., 2023) is large-scale and multi-round synthetic dialogue dataset, which is generated by two separate ChatGPT Turbo API models--one serves as the user role while the other serves as the assistant. They instruct the user model with carefully designed prompts to mimic real human user behaviors.
명령어 따라하기. 합성 데이터는 특히 실제 데이터가 부족하거나 비용이 많이 들거나 확보하기 어려운 시나리오에서 Instruction-following 모델을 훈련하는 데 유망한 접근 방식으로 사용될 수 있습니다. Self-instruct(Wang et al., 2022a)와 Stanford Alpaca(Taori et al., 2023)는 모두 LLM을 사용하여 다양한 시나리오를 포괄하는 Instruction-following 데이터를 생성합니다. 먼저 'seed Instruction-following samples'의 작은 집합을 선택한 다음, LLM이 이 형식을 모방하여 더 많은 데모를 생성하도록 요청합니다. 이러한 유형의 방법에서 한 가지 우려되는 점은 생성된 데이터의 품질을 높이 유지하는 방법이며, 여기에는 쿼리의 복잡성(Liu et al., 2023d), 의미의 다양성(Ding et al., 2023), 합성 데이터 세트의 규모(Yuan et al., 2023) 등이 포함됩니다. 이를 위해 Xu 등(2023)은 프롬프트를 통해 간단한 명령어에 복잡성을 추가하는 Evol-Instruct를 제안합니다. Mukherjee 등(2023)은 LLM을 활용하여 명령어와 응답을 반복적으로 수정하여 FLAN 데이터 세트(Wei 등, 2022)에 고품질 설명 추적을 포함시키고, 학습된 모델이 많은 NLP 작업에서 향상된 성능을 보이는 것을 발견했습니다. UltraChat(Ding et al., 2023)은 대규모 다중 라운드 합성 대화 데이터 세트로, 한 모델은 사용자 역할을, 다른 모델은 어시스턴트 역할을 하는 두 개의 별도의 ChatGPT Turbo API 모델에 의해 생성됩니다. 사용자 모델에 신중하게 설계된 프롬프트를 통해 실제 사용자 행동을 모방하도록 지시합니다.
명령어 따라하기.합성 데이터는 특히 실제 데이터가 부족하거나 비용이 많이 들거나 확보하기 어려운 시나리오에서 명령어 추종 모델을 훈련하는 데 유망한 접근 방식으로 사용될 수 있습니다. 셀프인스트럭트(Wang et al., 2022a)와 스탠포드 알파카(Taori et al., 2023)는 모두 LLM을 사용하여 다양한 시나리오를 포괄하는 명령어 추종 데이터를 생성합니다. 먼저 '시드 명령어 추종 샘플'의 작은 집합을 선택한 다음, LLM이 이 형식을 모방하여 더 많은 데모를 생성하도록 요청합니다. 이러한 유형의 방법에서 한 가지 우려되는 점은 생성된 데이터의 품질을 높이 유지하는 방법이며, 여기에는 쿼리의 복잡성(Liu et al., 2023d), 의미의 다양성(Ding et al., 2023), 합성 데이터 세트의 규모(Yuan et al., 2023) 등이 포함됩니다. 이를 위해 Xu 등(2023)은 프롬프트를 통해 간단한 명령어에 복잡성을 추가하는 Evol-Instruct를 제안합니다. Mukherjee 등(2023)은 LLM을 활용하여 명령어와 응답을 반복적으로 수정하여 FLAN 데이터 세트(Wei 등, 2022)에 고품질 설명 추적을 포함시키고, 학습된 모델이 많은 NLP 작업에서 향상된 성능을 보이는 것을 발견했습니다. UltraChat(Ding et al., 2023)은 대규모 다중 라운드 합성 대화 데이터 세트로, 한 모델은 사용자 역할을, 다른 모델은 어시스턴트 역할을 하는 두 개의 별도의 ChatGPT 터보 API 모델에 의해 생성됩니다. 사용자 모델에 신중하게 설계된 프롬프트를 통해 실제 사용자 행동을 모방하도록 지시합니다.