Overall, our approach to studying knowledge capacity scaling laws offers a flexible and **more accurate playground** compared to traditional methods that evaluate language models trained on internet data against real-world benchmarks. This accuracy is partly due to the synthetic nature of our dataset, which eliminates concerns about benchmark contamination that could compromise the validity of real-world benchmark results. In this paper, we've conducted a thorough comparison across different model architectures and types of knowledge. While we haven't explored various quantization methods, this represents a promising direction for future research. We've also investigated the impact of junk data and proposed mitigation strategies. We believe the insights gained from this principled exploration can assist practitioners in making informed decisions about model selection, training data preparation, and further theoretical research into LLMs.
전반적으로 지식 용량 scaling laws를 연구하는 우리의 접근 방식은 인터넷 데이터로 학습된 언어 모델을 실제 벤치마크에 대해 평가하는 기존 방법에 비해 보다 유연하고 **더 정확한 playground**를 제공합니다. 이러한 정확성은 부분적으로 데이터 세트의 합성적 특성에 기인하며, 이는 실제 벤치마크 결과의 유효성을 손상시킬 수 있는 벤치마크 오염에 대한 우려를 제거합니다. 이 백서에서는 다양한 모델 architecture와 지식 유형에 대한 철저한 비교를 수행했습니다. 다양한 quantization 방법을 탐구하지는 않았지만, 이는 향후 연구를 위한 유망한 방향입니다. 또한 junk data의 영향을 조사하고 완화 전략을 제안했습니다. 우리는 이러한 원칙적인 탐구를 통해 얻은 인사이트가 실무자들이 모델 선택, 훈련 데이터 준비 및 LLM에 대한 추가 이론적 연구에 대해 정보에 입각한 결정을 내리는 데 도움이 될 수 있다고 믿습니다.
전반적으로 지식 용량 스케일링 법칙을 연구하는 우리의 접근 방식은 인터넷 데이터로 학습된 언어 모델을 실제 벤치마크에 대해 평가하는 기존 방법에 비해 보다 유연하고 **더 정확한 플레이그라운드**를 제공합니다. 이러한 정확성은 부분적으로 데이터 세트의 합성적 특성에 기인하며, 이는 실제 벤치마크 결과의 유효성을 손상시킬 수 있는 벤치마크 오염에 대한 우려를 제거합니다. 이 백서에서는 다양한 모델 아키텍처와 지식 유형에 대한 철저한 비교를 수행했습니다. 다양한 양자화 방법을 탐구하지는 않았지만, 이는 향후 연구를 위한 유망한 방향입니다. 또한 정크 데이터의 영향을 조사하고 완화 전략을 제안했습니다. 우리는 이러한 원칙적인 탐구를 통해 얻은 인사이트가 실무자들이 모델 선택, 훈련 데이터 준비 및 LLM에 대한 추가 이론적 연구에 대해 정보에 입각한 결정을 내리는 데 도움이 될 수 있다고 믿습니다.