It was recently discovered by Allen-Zhu and Li [3] that although models memorize knowledge, this knowledge may not be extractable (e.g., via fine-tuning) for application in downstream tasks. It is essential to verify that the "2 bit/param" knowledge learned by models is indeed extractable. This verification is achieved by applying a fine-tuning task (e.g., "What is Anya's birthday? Answer: October 2, 1996") to half of the individuals and then testing its performance on the remainder.
최근 Allen-Zhu와 Li[3]에 의해 모델이 지식을 암기하지만 이러한 지식이 다운스트림 작업에 적용하기 위해(예: Fine-tuning을 통해) 추출할 수 없다는 사실이 발견되었습니다. 모델이 학습한 '2비트/파람' 지식이 실제로 추출 가능한지 확인하는 것이 필수적입니다. 이 검증은 Fine-tuning 작업(예: "아냐의 생일은 언제입니까? 정답: 1996년 10월 2일")을 개인의 절반에 적용한 다음 나머지 개인에 대한 성능을 테스트하는 방식으로 이루어집니다.
최근 Allen-Zhu와 Li[3]에 의해 모델이 지식을 암기하지만 이러한 지식이 다운스트림 작업에 적용하기 위해(예: 미세 조정을 통해) 추출할 수 없다는 사실이 발견되었습니다. 모델이 학습한 '2비트/파람' 지식이 실제로 추출 가능한지 확인하는 것이 필수적입니다. 이 검증은 미세 조정 작업(예: "아냐의 생일은 언제입니까? 정답: 1996년 10월 2일")을 개인의 절반에 적용한 다음 나머지 개인에 대한 성능을 테스트하는 방식으로 이루어집니다.