To guard potential leakage from LMs' pre-training, we only include questions in the test set that appear after the knowledge cut-off for the models we use (June 1, 2024). All test set questions were opened after the date, and all train and validation questions were resolved before. Questions that span across the date are discarded.
LM의 사전 학습에서 잠재적인 누출을 방지하기 위해 사용하는 모델의 지식 차단 이후에 나타나는 질문만 테스트 세트에 포함합니다(2024년 6월 1일). 테스트 세트의 모든 질문은 해당 날짜 이후에 공개되었으며, 모든 train 및 validation 질문은 그 이전에 해결되었습니다. 날짜에 걸쳐 있는 질문은 삭제됩니다.
LM의 사전 학습에서 잠재적인 누출을 방지하기 위해 사용하는 모델의 지식 차단 이후에 나타나는 질문만 테스트 세트에 포함합니다(2024년 6월 1일). 테스트 세트의 모든 질문은 해당 날짜 이후에 공개되었으며, 모든 훈련 및 유효성 검사 질문은 그 이전에 해결되었습니다. 날짜에 걸쳐 있는 질문은 삭제됩니다.