Footnote 4: It is important to note the difficulty in completely avoiding factual overlap between Wiki2023 and the pre-training corpus of Llama-2. For example, a film released in 2023 might have had information available before 2023. Data duplication detection is an active research direction, which falls beyond the focus of this study.
각주 4: Wiki2023과 Llama-2의 pre-training corpus 간에 사실적 중복을 완전히 피하기 어렵다는 점에 유의하는 것이 중요합니다. 예를 들어, 2023년에 개봉한 영화의 경우 2023년 이전에 정보를 입수할 수 있었을 수 있습니다. 데이터 중복 탐지는 이 연구의 초점을 벗어난 활발한 연구 방향입니다.
각주 4: 위키2023과 람다-2의 사전 학습 코퍼스 간에 사실적 중복을 완전히 피하기 어렵다는 점에 유의하는 것이 중요합니다. 예를 들어, 2023년에 개봉한 영화의 경우 2023년 이전에 정보를 입수할 수 있었을 수 있습니다. 데이터 중복 탐지는 이 연구의 초점을 벗어난 활발한 연구 방향입니다.