**Formatting Daily Chat Data.** Despite that a large number of training instances have been formatted with instructions, they mainly come from public NLP datasets, either lacking instruction diversity or mismatching with real human needs [66]. To overcome this issue, InstructGPT [66] proposes to take the queries that real users have submitted to the OpenAI API as the task descriptions. Additionally, to enrich the task diversity, human labelers are also asked to compose the instructions for real-life tasks, including open-ended generation, open question answering, brainstorming, and chatting. Then, they let another group of labelers directly answer these instructions as the output. Finally, they pair one instruction (_i.e.,_ the collected user query) and the expected output (_i.e.,_ the human-written answer) as a training instance. Note that InstructGPT also employs these real-world tasks formatted in natural language for alignment tuning (discussed in Section 5.2). Further, GPT-4 [46] has designed potentially high-risk instructions and guided the model to reject these instructions through supervised fine-tuning for safety concerns. Considering the absence of high-quality public chat data, several studies have also collected users' chat requests as input data, and then utilized ChatGPT or GPT-4 to generate responses as output data. A notable example of such a dataset is the conversational data from ShareGPT [148]. Additionally, Dolly [172] and OpenAssistant [173] have further released their conversation data, which has been carefully labeled by human annotators to attain a high level of quality.
**일일 채팅 데이터 포맷팅**. 많은 수의 학습 인스턴스가 instructions에 따라 포맷되었지만, 주로 공개 NLP 데이터 세트에서 가져온 것으로 instruction의 다양성이 부족하거나 실제 사용자의 요구 사항과 일치하지 않는 경우가 많습니다[66]. 이 문제를 극복하기 위해 InstructGPT [66]는 실제 사용자가 OpenAI API에 제출한 쿼리를 작업 설명으로 사용할 것을 제안합니다. 또한 작업의 다양성을 강화하기 위해 인간 라벨러에게 개방형 생성, 개방형 질문 답변, 브레인스토밍, 채팅 등 실제 작업에 대한 instructions을 작성하도록 요청합니다. 그런 다음 다른 라벨러 그룹에게 이러한 instructions에 직접 출력으로 답하도록 합니다. 마지막으로 하나의 instruction(_즉, 수집된 사용자 쿼리)과 예상 출력(_즉, 사람이 작성한 답변)을 쌍으로 연결하여 학습 인스턴스로 만듭니다. InstructGPT는 alignment tuning(5.2절에서 설명)을 위해 자연어로 포맷된 이러한 실제 작업을 사용하기도 합니다. 또한 GPT-4 [46]는 잠재적으로 위험할 수 있는 instructions을 설계하고 안전 문제를 위해 instructions을 supervised Fine-tuning을 통해 이러한 instructions을 거부하도록 모델을 안내했습니다. 고품질의 공개 채팅 데이터가 부족하다는 점을 고려하여, 여러 연구에서 사용자의 채팅 요청을 입력 데이터로 수집한 후 ChatGPT 또는 GPT-4를 활용하여 응답을 출력 데이터로 생성했습니다. 이러한 데이터 세트의 대표적인 예로는 ShareGPT [148]의 대화 데이터가 있습니다. 또한 Dolly [172]와 OpenAssistant [173]는 높은 수준의 품질을 달성하기 위해 인간 주석가가 신중하게 레이블을 지정한 대화 데이터를 추가로 공개했습니다.
**일일 채팅 데이터 포맷팅**. 많은 수의 학습 인스턴스가 지침에 따라 포맷되었지만, 주로 공개 NLP 데이터 세트에서 가져온 것으로 지침의 다양성이 부족하거나 실제 사용자의 요구 사항과 일치하지 않는 경우가 많습니다[66]. 이 문제를 극복하기 위해 InstructGPT [66]는 실제 사용자가 OpenAI API에 제출한 쿼리를 작업 설명으로 사용할 것을 제안합니다. 또한 작업의 다양성을 강화하기 위해 인간 라벨러에게 개방형 생성, 개방형 질문 답변, 브레인스토밍, 채팅 등 실제 작업에 대한 지침을 작성하도록 요청합니다. 그런 다음 다른 라벨러 그룹에게 이러한 지침에 직접 출력으로 답하도록 합니다. 마지막으로 하나의 지침(_즉, 수집된 사용자 쿼리)과 예상 출력(_즉, 사람이 작성한 답변)을 쌍으로 연결하여 학습 인스턴스로 만듭니다. InstructGPT는 정렬 튜닝(5.2절에서 설명)을 위해 자연어로 포맷된 이러한 실제 작업을 사용하기도 합니다. 또한 GPT-4 [46]는 잠재적으로 위험할 수 있는 지침을 설계하고 안전 문제를 위해 지침을 감독 미세 조정을 통해 이러한 지침을 거부하도록 모델을 안내했습니다. 고품질의 공개 채팅 데이터가 부족하다는 점을 고려하여, 여러 연구에서 사용자의 채팅 요청을 입력 데이터로 수집한 후 ChatGPT 또는 GPT-4를 활용하여 응답을 출력 데이터로 생성했습니다. 이러한 데이터 세트의 대표적인 예로는 ShareGPT [148]의 대화 데이터가 있습니다. 또한 Dolly [172]와 OpenAssistant [173]는 높은 수준의 품질을 달성하기 위해 인간 주석가가 신중하게 레이블을 지정한 대화 데이터를 추가로 공개했습니다.