LLaMA has been pre-trained with a standard language modeling task (see Section 2.4) using a mix of publicly available sources, such as crawled web pages, books, Wikipedia, and preprint papers. Experimental findings reveal that LLaMA delivers competitive performance compared to other LLMs like GPT-3, albeit at a smaller model size. This compactness and effectiveness have garnered considerable attention from researchers, leading to the widespread use of LLAMA-based models.
LLaMA는 크롤링된 웹 페이지, 책, Wikipedia, 논문 등 공개적으로 이용 가능한 자료를 혼합하여 표준 language modeling 작업(2.4절 참조)을 통해 사전 학습을 마쳤습니다. 실험 결과에 따르면 LLaMA는 더 작은 모델 크기임에도 불구하고 GPT-3와 같은 다른 LLMs에 비해 경쟁력 있는 성능을 제공하는 것으로 나타났습니다. 이러한 콤팩트함과 효율성으로 인해 연구자들의 많은 관심을 받았으며, 현재 LLaMA 기반 모델이 널리 사용되고 있습니다.
LLaMA는 크롤링된 웹 페이지, 책, 위키피디아, 논문 등 공개적으로 이용 가능한 자료를 혼합하여 표준 언어 모델링 작업(2.4절 참조)을 통해 사전 학습을 마쳤습니다. 실험 결과에 따르면 LLaMA는 더 작은 모델 크기임에도 불구하고 GPT-3와 같은 다른 LLM에 비해 경쟁력 있는 성능을 제공하는 것으로 나타났습니다. 이러한 콤팩트함과 효율성으로 인해 연구자들의 많은 관심을 받았으며, 현재 LLaMA 기반 모델이 널리 사용되고 있습니다.