* Memorizable knowledge accuracy (# of people). We apply the model to the original training data, such as "Anya Briar Forger was born on" and check if it can correctly generate "October 2, 1996". For each person, we evaluate all five attributes and compute their average accuracy.23 We then _sum_ this accuracy up over all \(N\) people. (Ideally, a perfect model would have this "accuracy" equal to \(N\).) Footnote 23: We exclude the company city attribute because it can be uniquely determined by the employer name, thus providing no additional knowledge. * Extractable knowledge accuracy (# of people). Following the pretrain-finetune framework of [3], we fine-tune any given pretrained model on half of the individuals using LoRA [17] with question-answering texts like "What is the birthday of Anya Briar Forger? Answer: October 2, 1996." We then test its generation accuracy on the remaining half of the individuals. High accuracy indicates that the knowledge is not only memorized but can also be _flexibly_ extracted for downstream tasks. Again, for each person,we evaluate all five attributes and compute their average accuracy. We then _sum_ this across all \(N/2\) people and multiply by 2.
* 기억할 수 있는 지식 정확도(# of people). "아냐 브라이어 포저는"과 같은 원본 학습 데이터에 모델을 적용하여 "1996년 10월 2일"을 올바르게 생성할 수 있는지 확인합니다. 각 사람에 대해 5가지 속성을 모두 평가하고 평균 정확도를 계산합니다.23 그런 다음 이 정확도를 모든 \(N\) 사람에 대해 _합산_합니다. (이상적으로 완벽한 모델이라면 이 '정확도'가 \(N\)과 같을 것입니다.) 각주 23: 회사 도시 속성은 고용주 이름으로 고유하게 결정할 수 있으므로 추가 지식을 제공하지 않으므로 제외합니다. * 추출 가능한 지식 정확도(# of people). [3]의 pretrain-finetune 프레임워크에 따라 "아냐 브라이어 포저의 생일은 무엇입니까?"와 같은 질문-답변 텍스트를 사용하여 LoRA [17]를 사용하여 절반의 개인에 대해 미리 학습된 모델을 Fine-tuning합니다. 그런 다음 나머지 절반의 개인에 대해 생성 정확도를 테스트합니다. 정확도가 높을수록 지식이 암기되어 있을 뿐만 아니라 다운스트림 작업에 필요한 _유연하게_ 추출할 수 있음을 나타냅니다. 다시 말하지만, 각 사람에 대해 5가지 속성을 모두 평가하고 평균 정확도를 계산합니다. 그런 다음 이를 모든 \(N/2\) 사람에 대해 _합산_하고 2를 곱합니다.
* 기억할 수 있는 지식 정확도(# of people). "아냐 브라이어 포저는"과 같은 원본 학습 데이터에 모델을 적용하여 "1996년 10월 2일"을 올바르게 생성할 수 있는지 확인합니다. 각 사람에 대해 5가지 속성을 모두 평가하고 평균 정확도를 계산합니다.23 그런 다음 이 정확도를 모든 \(N\) 사람에 대해 _합산_합니다. (이상적으로 완벽한 모델이라면 이 '정확도'가 \(N\)과 같을 것입니다.) 각주 23: 회사 도시 속성은 고용주 이름으로 고유하게 결정할 수 있으므로 추가 지식을 제공하지 않으므로 제외합니다. * 추출 가능한 지식 정확도(# of people). [3]의 사전 학습-미세 조정 프레임워크에 따라 "아냐 브라이어 포저의 생일은 무엇입니까?"와 같은 질문-답변 텍스트를 사용하여 LoRA [17]를 사용하여 절반의 개인에 대해 미리 학습된 모델을 미세 조정합니다. 그런 다음 나머지 절반의 개인에 대해 생성 정확도를 테스트합니다. 정확도가 높을수록 지식이 암기되어 있을 뿐만 아니라 다운스트림 작업에 필요한 _유연하게_ 추출할 수 있음을 나타냅니다. 다시 말하지만, 각 사람에 대해 5가지 속성을 모두 평가하고 평균 정확도를 계산합니다. 그런 다음 이를 모든 \(N/2\) 사람에 대해 _합산_하고 2를 곱합니다.