In addition to the public available datasets, one of the key elements for stage-2 is to obtain a high-quality document-grounded conversational QA dataset. We create a human-annotated conversational QA (called HumanAnnotatedConvQA) dataset only consisting of 7k dialogues. To build this dataset, we first collected 7k documents covering diverse topics from Internet. Then, we instruct the annotator to act both as a curious user asking questions (and follow-up questions) about the document and as a agent to give the answers. We create a multi-turn conversation for each document, resulting in a total of 7k conversational QA dialogues with an average of 5 user-agent turns per dialogue. Details of data collection guideline can be found in Appendix G.
공개된 데이터 세트 외에도 2단계의 핵심 요소 중 하나는 고품질의 문서 기반 대화형 QA 데이터 세트를 확보하는 것입니다. 우리는 7,000개의 대화로만 구성된 인간이 주석을 달은 대화형 QA (HumanAnnotatedConvQA) 데이터 세트를 만들었습니다. 이 데이터 세트를 구축하기 위해 먼저 인터넷에서 다양한 주제를 다루는 7,000개의 문서를 수집했습니다. 그런 다음 주석가에게 문서에 대한 질문(및 후속 질문)을 하는 호기심 많은 사용자와 답변을 제공하는 agent 역할을 하도록 지시했습니다. 각 문서에 대해 multi-turn 대화를 생성하여 대화당 평균 5개의 사용자-agent 턴이 있는 총 7,000개의 대화형 QA 대화를 생성했습니다. 데이터 수집 지침에 대한 자세한 내용은 부록 G에서 확인할 수 있습니다.
공개된 데이터 세트 외에도 2단계의 핵심 요소 중 하나는 고품질의 문서 기반 대화형 QA 데이터 세트를 확보하는 것입니다. 우리는 7,000개의 대화로만 구성된 인간이 주석을 달은 대화형 QA(HumanAnnotatedConvQA) 데이터 세트를 만들었습니다. 이 데이터 세트를 구축하기 위해 먼저 인터넷에서 다양한 주제를 다루는 7,000개의 문서를 수집했습니다. 그런 다음 주석가에게 문서에 대한 질문(및 후속 질문)을 하는 호기심 많은 사용자와 답변을 제공하는 에이전트 역할을 하도록 지시했습니다. 각 문서에 대해 멀티 턴 대화를 생성하여 대화당 평균 5개의 사용자-에이전트 턴이 있는 총 7,000개의 대화형 QA 대화를 생성했습니다. 데이터 수집 지침에 대한 자세한 내용은 부록 G에서 확인할 수 있습니다.