**LLaMA**[12]: LLaMA is a series of foundation models developed by Meta AI, trained on publicly available English-dominate corpus. The corpus includes CommonCrawl, C4, Github code, Wikipedia, Books, and ArXiv papers, amounting to approximately 1.4 trillion tokens. Among these sources, Wikipedia consists of multilingual text, contributing 4.5% of the total corpus. It covers 20 languages that use either the Latin or Cyrillic scripts. LLaMA achieves state-of-the-art results for foundation models of its size. For example, LLaMA-13B with just 13 billion parameters outperforms the much larger 175B parameter GPT-3 on many NLP benchmarks. We consider LLaMA-7B and LLaMA-13B in our experiments.
**LLaMA**[12]: LLaMA는 공개적으로 사용 가능한 영어 중심 코퍼스에 대해 학습된 Meta AI에서 개발한 일련의 foundation models입니다. 코퍼스에는 CommonCrawl, C4, Github 코드, Wikipedia, Books, ArXiv 논문이 포함되며, 약 1조 4,000억 개의 tokens에 달합니다. 이러한 소스 중 Wikipedia는 전체 코퍼스의 4.5%를 차지하는 다국어 텍스트로 구성됩니다. 라틴어 또는 키릴 문자를 사용하는 20개 언어를 다룹니다. LLaMA는 해당 규모의 foundation models 중 최첨단 결과를 달성합니다. 예를 들어, 130억 개의 parameters만 가진 LLaMA-13B는 많은 NLP benchmarks에서 훨씬 더 큰 1,750억 개의 parameters를 가진 GPT-3보다 뛰어난 성능을 발휘합니다. 실험에서는 LLaMA-7B와 LLaMA-13B를 고려합니다.
**LLaMA**[12]: LLaMA는 공개적으로 사용 가능한 영어 중심 코퍼스에 대해 학습된 Meta AI에서 개발한 일련의 기반 모델입니다. 코퍼스에는 CommonCrawl, C4, Github 코드, Wikipedia, Books, ArXiv 논문이 포함되며, 약 1조 4,000억 개의 토큰에 달합니다. 이러한 소스 중 Wikipedia는 전체 코퍼스의 4.5%를 차지하는 다국어 텍스트로 구성됩니다. 라틴어 또는 키릴 문자를 사용하는 20개 언어를 다룹니다. LLaMA는 해당 규모의 기반 모델 중 최첨단 결과를 달성합니다. 예를 들어, 130억 개의 파라미터만 가진 LLaMA-13B는 많은 NLP 벤치마크에서 훨씬 더 큰 1,750억 개의 파라미터를 가진 GPT-3보다 뛰어난 성능을 발휘합니다. 실험에서는 LLaMA-7B와 LLaMA-13B를 고려합니다.