We adopt a decoder-only transformer architecture based on Vaswani et al. (2017), and deliver 1B and 7B variants as described in Table 1, with a 65B version coming soon. Our specific architecture includes several improvements over the vanilla transformer from Vaswani et al. (2017) following other recent large language models like PaLM (Chowdhery et al., 2022), the LLaMA family (Touvron et al., 2023a,b), OpenLM (Gururangan et al., 2023), and Falcon (Almazrouei et al., 2023). Table 2 gives a comprehensive comparison of our 7B architecture to the similarly-sized models from these other families.
Vaswani et al. (2017)을 기반으로 decoder-only Transformer 아키텍처를 채택하고, 표 1에 설명된 대로 1B 및 7B 변형을 제공하며, 65B 버전이 곧 출시될 예정입니다. 우리의 특정 아키텍처에는 PaLM(Chowdhery et al., 2022), LLaMA 제품군(Touvron et al., 2023a,b), OpenLM(Gururangan et al., 2023), Falcon(Almazrouei et al., 2023)과 같은 최근의 다른 Large Language Models (LLMs)에 따라 Vaswani et al.(2017)의 일반 Transformer에 비해 몇 가지 개선 사항이 포함되어 있습니다. 표 2는 이러한 다른 제품군의 비슷한 크기의 모델과 우리의 7B 아키텍처를 종합적으로 비교한 표입니다.
Vaswani et al. (2017)을 기반으로 디코더 전용 트랜스포머 아키텍처를 채택하고, 표 1에 설명된 대로 1B 및 7B 변형을 제공하며, 65B 버전이 곧 출시될 예정입니다. 우리의 특정 아키텍처에는 PaLM(Chowdhery et al., 2022), LLaMA 제품군(Touvron et al., 2023a,b), OpenLM(Gururangan et al., 2023), Falcon(Almazrouei et al., 2023)과 같은 최근의 다른 대규모 언어 모델에 따라 Vaswani et al.(2017)의 일반 트랜스포머에 비해 몇 가지 개선 사항이 포함되어 있습니다. 표 2는 이러한 다른 제품군의 비슷한 크기의 모델과 우리의 7B 아키텍처를 종합적으로 비교한 표입니다.