Current Events Task To further isolate LLMs' abilities to learn new knowledge, we created a task comprising multiple-choice questions about current events. This task includes multiple-choice questions about events that occurred after the cutoff of the various models' training data. Specifically, we focused on "current events" from the USA, in the time span of August-November 2023, that are included in the relevant Wikipedia indexes1. This method enables us to mostly guarantee that the models have not been exposed to these facts, thus allowing us to directly test knowledge injection capabilities.
현재 사건 과제: LLM의 새로운 지식을 학습하는 능력을 더욱 분리하기 위해, 우리는 현재 사건에 대한 객관식 질문으로 구성된 과제를 만들었습니다. 이 과제는 다양한 모델의 학습 데이터가 종료된 이후에 발생한 사건에 대한 객관식 질문을 포함합니다. 구체적으로, 우리는 2023년 8월부터 11월까지의 기간 동안 미국에서 발생한 "현재 사건"에 초점을 맞추었으며, 이는 관련된 Wikipedia 색인에 포함되어 있습니다. 이 방법은 모델이 이러한 사실에 노출되지 않았음을 대부분 보장할 수 있게 하여, 지식 주입 능력을 직접적으로 테스트할 수 있게 합니다.
시사 이벤트 작업 LLM이 새로운 지식을 학습하는 능력을 더욱 격리하기 위해 시사 이벤트에 관한 객관식 문제로 구성된 과제를 만들었습니다. 이 과제에는 다양한 모델의 학습 데이터 마감일 이후에 발생한 사건에 대한 객관식 문제가 포함되어 있습니다. 특히, 우리는 2023년 8~11월 미국에서 발생한 '시사 이벤트' 중 관련 위키백과 색인1에 포함된 사건에 초점을 맞추었습니다. 이 방법을 사용하면 모델이 이러한 사실에 노출되지 않았음을 대부분 보장할 수 있으므로 지식 주입 기능을 직접 테스트할 수 있습니다.