The Llama family is a well-known class of AutoRegressive language models. Llama(Touvron et al., 2023) was first proposed as a language model that uses only publicly available data. To improve training stability, they normalise the input of each transformer sub-layer instead of normalising the output. They use the RMSNorm normalisation function introduced by Zhang and Sennrich (2019) and replace the ReLU non-linearity with the SwiGLU activation function introduced by Shazeer (2020) to improve performance. Furthermore, the authors replaced the absolute position embedding with the rotational position embedding (RoPE) introduced by Su et al. (2024) at each layer of the network. Llama2(Touvron et al., 2023) used supervised fine-tuning, initial and iterative reward modelling and RLHF in their experiments. they also invented a new technique, Ghost Attention (GAtt), which helps to control the flow of dialogue in multiple turns. Qwen(Bai et al., 2023), based on Llama, the following adjustments were made: 1. The method of loose embedding was chosen instead of bundling the weights of input embedding and output projection to save memory cost. 2. The accuracy of the inverse frequency matrix was improved. 3. For most of the layers, bias was eliminated as per Chowdhery et al. (2023). However, bias was added in the QKV layer to enhance the model's extrapolation capability. The traditional layer normalization technique described in Ba et al. (2016) was replaced with RMSNorm. They chose SwiGLU as their activation function, which is a combination of Swish Ramachandran et al. (2017) and gated linear units (Dauphin et al., 2017). The dimension of the feed-forward network (FFN) is also reduced. Furthermore, Mistral 7b (Jiang et al., 2023) utilises Grouped Query Attention (GQA) to enhance inference speed and combines it with Sliding Window Attention (SWA) to efficiently process sequences of any length with reduced inference cost. These techniques demonstrate superior performance over Llama2.The Llama model is open source and uses publicly available data, providing researchers (Yan et al., 2024) (Asai et al., 2023) (Wang et al., 2023) with more opportunities to expand. As a result, many researchers use the Llama family as language models in the RALM architecture.
Llama 제품군은 잘 알려진 AutoRegressive 언어 모델 클래스입니다. Llama(Touvron et al., 2023)는 공개적으로 사용 가능한 데이터만 사용하는 언어 모델로 처음 제안되었습니다. 훈련 안정성을 개선하기 위해 입력 출력을 정규화하는 대신 각 Transformer 하위 계층의 입력을 정규화합니다. Zhang과 Sennrich(2019)가 도입한 RMSNorm 정규화 함수를 사용하고, 성능을 개선하기 위해 Shazeer(2020)가 도입한 SwiGLU 활성화 함수로 ReLU 비선형성을 대체했습니다. 또한, 저자들은 네트워크의 각 레이어에서 Su 등(2024)이 도입한 회전 위치 임베딩(RoPE)으로 절대 위치 임베딩을 대체했습니다. Llama2(Touvron et al., 2023)는 실험에서 Supervised Fine-tuning, 초기 및 반복 보상 모델링 및 Reinforcement Learning from Human Feedback (RLHF)를 사용했습니다. 또한 여러 턴에서 대화의 흐름을 제어하는 데 도움이 되는 새로운 기술인 Ghost Attention (GAtt)을 발명했습니다. Llama를 기반으로 한 Qwen(Bai et al., 2023)에서는 다음과 같이 조정했습니다: 1. 메모리 비용을 절약하기 위해 입력 임베딩과 출력 투영의 가중치를 묶는 대신 느슨한 임베딩 방식을 선택했습니다. 2. 역주파수 행렬의 정확도를 개선했습니다. 3. 대부분의 레이어에서 바이어스는 Chowdhery et al. (2023)에 따라 제거되었습니다. 그러나 모델의 추정 능력을 향상시키기 위해 QKV 레이어에 바이어스가 추가되었습니다. Ba 등(2016)에 설명된 기존의 레이어 정규화 기법은 RMSNorm으로 대체되었습니다. 이들은 활성화 함수로 Swish Ramachandran 등(2017)과 게이트형 선형 유닛(Dauphin 등, 2017)을 결합한 SwiGLU를 선택했습니다. 피드포워드 네트워크(FFN)의 차원도 줄었습니다. 또한 Mistral 7b(Jiang et al., 2023)는 추론 속도를 향상시키기 위해 Grouped Query Attention (GQA)을 활용하고, 추론 비용을 줄이면서 길이의 시퀀스를 효율적으로 처리하기 위해 Sliding Window Attention (SWA)과 결합합니다. 이러한 기술은 Llama2보다 우수한 성능을 보여줍니다. Llama 모델은 오픈 소스이며 공개적으로 사용 가능한 데이터를 사용하므로 연구자(Yan et al., 2024)(Asai et al., 2023)(Wang et al., 2023)에게 더 많은 확장 기회를 제공합니다. 그 결과 많은 연구자들이 RALM 아키텍처에서 언어 모델로 Llama 제품군을 사용하고 있습니다.
Llama 제품군은 잘 알려진 자동 회귀 언어 모델 클래스입니다. Llama(Touvron et al., 2023)는 공개적으로 사용 가능한 데이터만 사용하는 언어 모델로 처음 제안되었습니다. 훈련 안정성을 개선하기 위해 입력 출력을 정규화하는 대신 각 트랜스포머 하위 계층의 입력을 정규화합니다. Zhang과 Sennrich(2019)가 도입한 RMSNorm 정규화 함수를 사용하고, 성능을 개선하기 위해 Shazeer(2020)가 도입한 SwiGLU 활성화 함수로 ReLU 비선형성을 대체했습니다. 또한, 저자들은 네트워크의 각 레이어에서 Su 등(2024)이 도입한 회전 위치 임베딩(RoPE)으로 절대 위치 임베딩을 대체했습니다. Llama2(Touvron et al., 2023)는 실험에서 지도 미세 조정, 초기 및 반복 보상 모델링 및 RLHF를 사용했습니다. 또한 여러 턴에서 대화의 흐름을 제어하는 데 도움이 되는 새로운 기술인 고스트 어텐션(GAtt)을 발명했습니다. Llama를 기반으로 한 Qwen(Bai et al., 2023)에서는 다음과 같이 조정했습니다: 1. 메모리 비용을 절약하기 위해 입력 임베딩과 출력 투영의 가중치를 묶는 대신 느슨한 임베딩 방식을 선택했습니다. 2. 역주파수 행렬의 정확도를 개선했습니다. 3. 대부분의 레이어에서 바이어스는 Chowdhery et al. (2023)에 따라 제거되었습니다. 그러나 모델의 추정 능력을 향상시키기 위해 QKV 레이어에 바이어스가 추가되었습니다. Ba 등(2016)에 설명된 기존의 레이어 정규화 기법은 RMSNorm으로 대체되었습니다. 이들은 활성화 함수로 Swish Ramachandran 등(2017)과 게이트형 선형 유닛(Dauphin 등, 2017)을 결합한 SwiGLU를 선택했습니다. 피드포워드 네트워크(FFN)의 차원도 줄었습니다. 또한 Mistral 7b(Jiang et al., 2023)는 추론 속도를 향상시키기 위해 그룹화된 쿼리 어텐션(GQA)을 활용하고, 추론 비용을 줄이면서 길이의 시퀀스를 효율적으로 처리하기 위해 슬라이딩 윈도우 어텐션(SWA)과 결합합니다. 이러한 기술은 Llama2보다 우수한 성능을 보여줍니다.Llama 모델은 오픈 소스이며 공개적으로 사용 가능한 데이터를 사용하므로 연구자(Yan et al., 2024)(Asai et al., 2023)(Wang et al., 2023)에게 더 많은 확장 기회를 제공합니다. 그 결과 많은 연구자들이 RALM 아키텍처에서 언어 모델로 Llama 제품군을 사용하고 있습니다.