To effectively evaluate the LLMs' performance on these knowledge-intensive tasks, a comprehensive auxiliary dataset was collected by scraping relevant articles per topic from Wikipedia. The rationale behind selecting Wikipedia as the primary source of knowledge is its broad coverage of relevant topics and its reliability as a repository of crowd-verified knowledge. All articles pertinent to the tasks were retrieved via the official Wikipedia API2 by identifying the relevant central page per topic.
이러한 지식 집약적인 작업에서 LLMs의 성능을 효과적으로 평가하기 위해 Wikipedia에서 주제별로 관련 기사를 스크랩하여 포괄적인 보조 데이터 세트를 수집했습니다. Wikipedia를 지식의 주요 출처로 선택한 이유는 관련 주제에 대한 광범위한 다루는 내용과 크라우드 검증 지식의 저장소로서의 신뢰성 때문입니다. 과제와 관련된 모든 문서는 주제별로 관련 중심 페이지를 식별하여 공식 Wikipedia API2를 통해 검색되었습니다.
이러한 지식 집약적인 작업에서 LLM의 성능을 효과적으로 평가하기 위해 위키피디아에서 주제별로 관련 기사를 스크랩하여 포괄적인 보조 데이터 세트를 수집했습니다. 위키피디아를 지식의 주요 출처로 선택한 이유는 관련 주제에 대한 광범위한 다루는 내용과 크라우드 검증 지식의 저장소로서의 신뢰성 때문입니다. 과제와 관련된 모든 문서는 주제별로 관련 중심 페이지를 식별하여 공식 위키피디아 API2를 통해 검색되었습니다.