The first set of LLaMA models [32] was released in February 2023, ranging from 7B to 65B parameters. These models are pre-trained on trillions of tokens, collected from publicly available datasets. LLaMA uses the transformer architecture of GPT-3, with a few minor architectural modifications, including (1) using a SwiGLU activation function instead of ReLU, (2) using rotary positional embeddings instead of absolute positional embedding, and (3) using root-mean-squared layer-normalization instead of standard layer-normalization. The open-source LLaMA-13B model outperforms the proprietary GPT-3 (175B) model on most benchmarks, making it a good baseline for LLM research.
첫 번째 LLaMA 모델 세트[32]는 2023년 2월에 7B에서 65B 파라미터 범위로 출시되었습니다. 이 모델들은 공개적으로 사용 가능한 데이터 세트에서 수집한 수조 개의 토큰에 대해 사전 학습을 거쳤습니다. LLaMA는 GPT-3의 Transformer 아키텍처를 사용하며, (1) ReLU 대신 SwiGLU 활성화 함수 사용, (2) 절대 위치 임베딩 대신 로터리 위치 임베딩 사용, (3) 표준 레이어 정규화 대신 루트 평균 제곱 레이어 정규화 사용 등 몇 가지 작은 아키텍처 수정이 이루어졌습니다. 오픈 소스 LLaMA-13B 모델은 대부분의 벤치마크에서 독점 GPT-3(175B) 모델을 능가하므로 LLM 연구를 위한 좋은 기준이 될 수 있습니다.
첫 번째 LLaMA 모델 세트[32]는 2023년 2월에 7B에서 65B 파라미터 범위로 출시되었습니다. 이 모델들은 공개적으로 사용 가능한 데이터 세트에서 수집한 수조 개의 토큰에 대해 사전 학습을 거쳤습니다. LLaMA는 GPT-3의 트랜스포머 아키텍처를 사용하며, (1) ReLU 대신 SwiGLU 활성화 함수 사용, (2) 절대 위치 임베딩 대신 로터리 위치 임베딩 사용, (3) 표준 레이어 정규화 대신 루트 평균 제곱 레이어 정규화 사용 등 몇 가지 작은 아키텍처 수정이 이루어졌습니다. 오픈 소스 LLaMA-13B 모델은 대부분의 벤치마크에서 독점 GPT-3(175B) 모델을 능가하므로 LLM 연구를 위한 좋은 기준이 될 수 있습니다.