LLaMA (Touvron et al., 2023) is a foundational, decoder-only large language model built upon the transformer architecture (Vaswani et al., 2017). Similar to the GPT series and other transformer-based LLMs, LLAMA consists of an embedding layer, multiple transformer blocks, and a language model head. LLAMA also incorporates improvements utilized in different models, such as pre-normalization (Zhang and Sennrich, 2019), SwiGLU activation (Shazeer, 2020), and rotary embeddings (Su et al., 2021). LLaMA is available in four different model sizes: 7B, 13B, 33B, and 65B.
LLaMA(Touvron et al., 2023)는 Transformer 아키텍처(Vaswani et al., 2017)를 기반으로 구축된 기반 Decoder 전용 Large Language Model입니다. GPT 시리즈 및 기타 Transformer 기반 LLM과 유사하게, LLAMA는 embedding layer, 여러 Transformer blocks, language model head로 구성됩니다. 또한 LLaMA는 pre-normalization(Zhang and Sennrich, 2019), SwiGLU activation(Shazeer, 2020), rotary embeddings(Su et al., 2021) 등 다양한 모델에서 활용되는 개선 사항도 통합합니다. LLaMA는 7B, 13B, 33B, 65B의 네 가지 모델 크기로 제공됩니다.
LLaMA(Touvron et al., 2023)는 트랜스포머 아키텍처(Vaswani et al., 2017)를 기반으로 구축된 기반 디코더 전용 대규모 언어 모델입니다. GPT 시리즈 및 기타 트랜스포머 기반 LLM과 유사하게, LLAMA는 임베딩 레이어, 여러 트랜스포머 블록, 언어 모델 헤드로 구성됩니다. 또한 LLaMA는 사전 정규화(Zhang and Sennrich, 2019), SwiGLU 활성화(Shazeer, 2020), 회전 임베딩(Su et al., 2021) 등 다양한 모델에서 활용되는 개선 사항도 통합합니다. LLaMA는 7B, 13B, 33B, 65B의 네 가지 모델 크기로 제공됩니다.