Knowledge is a, if not the, pivotal component of human intelligence, accumulated over our extensive history. Large language models like GPT-4 are celebrated not just for their sophisticated logic but also for their superior knowledge base. Despite rumors of GPT-4 having over 1T parameters, _is it necessary to store all human knowledge?_ Could a 10B model, if trained sufficiently with high-quality data, match GPT-4's knowledge capacity? Our paper seeks to address these questions.
지식은 인간 지능의 핵심 요소 중 하나이며, 오랜 역사를 통해 축적되어 왔습니다. GPT-4와 같은 Large Language Models (LLMs)는 정교한 논리뿐만 아니라 뛰어난 지식 기반으로 인정받고 있습니다. GPT-4의 파라미터가 1T 이상이라는 소문이 있지만, _인간의 모든 지식을 저장해야 하는 것은 아닌가요?_ 고품질 데이터로 충분히 학습된 10B 모델이 GPT-4의 지식 능력에 필적할 수 있을까요? 저희 논문은 이러한 질문에 답하고자 합니다.
지식은 인간 지능의 핵심 요소 중 하나이며, 오랜 역사를 통해 축적되어 왔습니다. GPT-4와 같은 대규모 언어 모델은 정교한 논리뿐만 아니라 뛰어난 지식 기반으로 인정받고 있습니다. GPT-4의 파라미터가 1T 이상이라는 소문이 있지만, _인간의 모든 지식을 저장해야 하는 것은 아닌가요?_ 고품질 데이터로 충분히 학습된 100억 개 모델이 GPT-4의 지식 능력에 필적할 수 있을까요? 저희 논문은 이러한 질문에 답하고자 합니다.