After collecting the relevant chunks from Wikipedia, we created a new multiple-choice dataset with the help of GPT-4 (OpenAI, 2023). First, we removed any small chunks. For each remaining chunk in the corpus, GPT-4 was instructed to create four highly specific, high-quality multiple-choice questions with only one correct answer. By specific, we mean that the question can be answered without knowledge of which context the question refers to and with minimal ambiguity. Next, GPT-4 was asked to select the two most specific of the four. This was followed by a manual evaluation and verification step. In total, this resulted in 910 new questions.
위키피디아에서 관련 청크를 수집한 후 GPT-4(OpenAI, 2023)의 도움을 받아 새로운 multiple-choice 데이터 세트를 만들었습니다. 먼저 작은 청크를 모두 제거했습니다. 코퍼스의 나머지 각 청크에 대해 GPT-4는 정답이 하나만 있는 매우 구체적이고 고품질의 multiple-choice 문제 4개를 만들도록 지시했습니다. 구체적이라는 것은 문제가 어떤 맥락에서 나온 문제인지에 대한 지식 없이 최소한의 모호함으로 답을 맞출 수 있다는 의미입니다. 다음으로 GPT-4는 네 개 중 가장 구체적인 두 개를 선택하도록 요청했습니다. 그 후 수동 평가 및 검증 단계가 이어졌습니다. 그 결과 총 910개의 새로운 질문이 생성되었습니다.
위키피디아에서 관련 청크를 수집한 후 GPT-4(OpenAI, 2023)의 도움을 받아 새로운 객관식 데이터 세트를 만들었습니다. 먼저 작은 청크를 모두 제거했습니다. 코퍼스의 나머지 각 청크에 대해 GPT-4는 정답이 하나만 있는 매우 구체적이고 고품질의 객관식 문제 4개를 만들도록 지시했습니다. 구체적이라는 것은 문제가 어떤 맥락에서 나온 문제인지에 대한 지식 없이 최소한의 모호함으로 답을 맞출 수 있다는 의미입니다. 다음으로 GPT-4는 네 개 중 가장 구체적인 두 개를 선택하도록 요청했습니다. 그 후 수동 평가 및 검증 단계가 이어졌습니다. 그 결과 총 910개의 새로운 질문이 생성되었습니다.