We begin with a random sample of 1000 articles from Huggingface's Wikipedia dataset (20220301.en, (Foundation)). We use GPT-4 to generate questions related to each field (dates, names, and cities) and filter out responses where the excerpt is not exactly found in the context. To reduce ambiguity when matching groundtruth answers, we restrict the answers to fit certain formats. For dates, we require that the answer adheres to a four-digit year (YYYY). For names, we require a first and last name (eg. George Washington). For cities, we remove any other identities (eg. Seattle, not Seattle, WA). For each domain, among the remaining question-answer pairs that fit these criteria, we randomly sample 200 for our evaluation set.
먼저, Huggingface의 Wikipedia 데이터 세트(20220301.en, (Foundation))에서 1000개의 문서를 무작위로 샘플링합니다. GPT-4를 사용하여 각 필드(날짜, 이름, 도시)와 관련된 질문을 생성하고 해당 문구가 문맥에서 정확히 발견되지 않는 응답을 필터링합니다. 지상실 답변을 일치시킬 때 모호성을 줄이기 위해 답변을 특정 형식에 맞도록 제한합니다. 날짜의 경우 답변이 4자리 연도(YYYY)를 준수하도록 요구합니다. 이름의 경우 이름과 성(예: George Washington)이 필요합니다. 도시의 경우 다른 신원(예: Seattle, WA가 아닌 Seattle)을 제거합니다. 각 도메인에 대해 이러한 기준에 맞는 나머지 질문-답변 쌍 중에서 평가 세트를 위해 200개를 무작위로 샘플링합니다.
먼저, Huggingface의 위키피디아 데이터 세트(20220301.en, (재단))에서 1000개의 문서를 무작위로 샘플링합니다. GPT-4를 사용하여 각 필드(날짜, 이름, 도시)와 관련된 질문을 생성하고 해당 문구가 문맥에서 정확히 발견되지 않는 응답을 필터링합니다. 지상실 답변을 일치시킬 때 모호성을 줄이기 위해 답변을 특정 형식에 맞도록 제한합니다. 날짜의 경우 답변이 4자리 연도(YYYY)를 준수하도록 요구합니다. 이름의 경우 이름과 성(예: 조지 워싱턴)이 필요합니다. 도시의 경우 다른 신원(예: 시애틀, WA가 아닌 시애틀)을 제거합니다. 각 도메인에 대해 이러한 기준에 맞는 나머지 질문-답변 쌍 중에서 평가 세트를 위해 200개를 무작위로 샘플링합니다.