**LLaMA Model Family**. The collection of LLaMA models [57] were introduced by Meta AI in February, 2023, consisting of four sizes (7B, 13B, 30B and 65B). Since released, LLaMA has attracted extensive attention from both research and industry communities. LLaMA models have achieved very excellent performance on various open benchmarks, which have become the most popular open language models thus far. A large number of researchers have extended LLaMA models by either instruction tuning or continual pretraining. In particular, instruction tuning LLaMA has become a major approach to developing customized or specialized models, due to the relatively low computational costs. To effectively adapt LLaMA models in non-English languages, it often needs to extend the original vocabulary (trained mainly on English corpus) or fine-tune it with instructions or data in the target language. Among these extended models, Stanford Alpaca [142] is the first open instruct-following model fine-tuned based on LLaMA (7B). It is trained by 52K instruction-following demonstrations generated via self-instruct [143] using text-davinci-003. The instruction data, named _Alpaca-52K_, and training code have been extensively adopted in subsequent work, such as Alpaca-LoRA [144] (a reproduction of Stanford Alpaca using LoRA [145]), Koala [146], and BELLE [147]. In addition, Vicuna [138] is another popular LLaMA variant, trained upon user-shared conversations collected from ShareGPT [148]. Due to the excellent performance and availability of the LLaMA model family, many multimodal models incorporate them as the base language models, to achieve strong language understanding and generation abilities.
**LLaMA 모델 제품군**. LLaMA 모델 컬렉션 [57]은 2023년 2월에 Meta AI에서 소개한 것으로, 4가지 크기(7B, 13B, 30B, 65B)로 구성되어 있습니다. 출시 이후 LLaMA는 연구 및 업계 커뮤니티 모두에서 많은 관심을 받고 있습니다. LLaMA 모델은 다양한 오픈 벤치마크에서 매우 우수한 성능을 달성하여 현재까지 가장 인기 있는 오픈 언어 모델이 되었습니다. 많은 연구자들이 Instruction Tuning 또는 지속적 사전 학습을 통해 LLaMA 모델을 확장했습니다. 특히, Instruction Tuning LLaMA는 상대적으로 낮은 계산 비용으로 인해 맞춤형 또는 특수 모델을 개발하는 주요 접근 방식이 되었습니다. 비영어 언어에서 LLaMA 모델을 효과적으로 조정하려면 원래 어휘(주로 영어 코퍼스에서 학습)를 확장하거나 대상 언어의 Instruction 또는 데이터로 Fine-tuning해야 하는 경우가 많습니다. 이러한 확장 모델 중 Stanford Alpaca [142]는 LLaMA(7B)를 기반으로 Fine-tuning한 최초의 오픈 Instruction-following 모델입니다. 텍스트-davinci-003을 사용하여 self-instruct [143]를 통해 생성된 52,000개의 Instruction-following 데모를 통해 학습되었습니다. Alpaca-52K_라는 Instruction 데이터와 학습 코드는 Alpaca-LoRA [144](LoRA [145]를 사용한 Stanford Alpaca의 재현), Koala [146], BELLE [147] 등 후속 작업에서 광범위하게 채택되었습니다. 또한, Vicuna [138]는 사용자가 공유한 대화를 ShareGPT [148]에서 수집하여 학습한 또 다른 인기 있는 LLaMA 변형입니다. LLaMA 모델 제품군의 우수한 성능과 가용성으로 인해 많은 멀티모달 모델이 이를 기본 언어 모델로 통합하여 강력한 언어 이해 및 생성 기능을 달성하고 있습니다.
**LLaMA 모델 제품군**. LLaMA 모델 컬렉션 [57]은 2023년 2월에 Meta AI에서 소개한 것으로, 4가지 크기(7B, 13B, 30B, 65B)로 구성되어 있습니다. 출시 이후 LLaMA는 연구 및 업계 커뮤니티 모두에서 많은 관심을 받고 있습니다. LLaMA 모델은 다양한 오픈 벤치마크에서 매우 우수한 성능을 달성하여 현재까지 가장 인기 있는 오픈 언어 모델이 되었습니다. 많은 연구자들이 명령어 튜닝 또는 지속적 사전 학습을 통해 LLaMA 모델을 확장했습니다. 특히, 명령어 튜닝 LLaMA는 상대적으로 낮은 계산 비용으로 인해 맞춤형 또는 특수 모델을 개발하는 주요 접근 방식이 되었습니다. 비영어 언어에서 LLaMA 모델을 효과적으로 조정하려면 원래 어휘(주로 영어 코퍼스에서 학습)를 확장하거나 대상 언어의 명령어 또는 데이터로 미세 조정해야 하는 경우가 많습니다. 이러한 확장 모델 중 Stanford Alpaca [142]는 LLaMA(7B)를 기반으로 미세 조정한 최초의 오픈 명령어 추종 모델입니다. 텍스트-다빈치-003을 사용하여 셀프-인스트럭트 [143]를 통해 생성된 52,000개의 명령어 추종 데모를 통해 학습되었습니다. 알파카-52K_라는 명령어 데이터와 학습 코드는 Alpaca-LoRA [144](LoRA [145]를 사용한 Stanford Alpaca의 재현), Koala [146], BELLE [147] 등 후속 작업에서 광범위하게 채택되었습니다. 또한, 비쿠나 [138]는 사용자가 공유한 대화를 ShareGPT [148]에서 수집하여 학습한 또 다른 인기 있는 LLaMA 변형입니다. LLaMA 모델 제품군의 우수한 성능과 가용성으로 인해 많은 멀티모달 모델이 이를 기본 언어 모델로 통합하여 강력한 언어 이해 및 생성 기능을 달성하고 있습니다.