We generate _synthetic_ knowledge-only datasets by uniformly at random generating (name, attribute, value) tuples from a knowledge base and converting them into English descriptions. We pretrain language models (e.g., GPT-2, LLaMA, Mistral) on these texts using a standard auto-regressive objective from random initialization, and "estimate" the learned knowledge. By varying the number of knowledge pieces and model sizes, we outline a knowledge capacity scaling law.
지식 베이스에서 (이름, 속성, 값) 튜플을 무작위로 균일하게 생성하고 이를 영어 설명으로 변환하여 _합성_ 지식 전용 데이터 세트를 생성합니다. 이러한 텍스트에 대해 무작위 초기화에서 표준 auto-regressive objective를 사용하여 언어 모델(예: GPT-2, LLaMA, Mistral)을 사전 학습하고 학습된 지식을 "추정"합니다. 지식 조각의 수와 모델 크기를 변경하여 지식 용량 scaling law를 설명합니다.
지식 베이스에서 (이름, 속성, 값) 튜플을 무작위로 균일하게 생성하고 이를 영어 설명으로 변환하여 _합성_ 지식 전용 데이터 세트를 생성합니다. 이러한 텍스트에 대해 무작위 초기화에서 표준 자동 회귀 목표를 사용하여 언어 모델(예: GPT-2, LLaMA, Mistral)을 사전 학습하고 학습된 지식을 "추정"합니다. 지식 조각의 수와 모델 크기를 변경하여 지식 용량 스케일링 법칙을 설명합니다.