**Models with Hundreds of Billions of Parameters**. For models in this category, only a handful of models have been publicly released. For example, OPT [90], OPT-IML [95], BLOOM [78], and BLOOMZ [94] have nearly the same number of parameters as GPT-3 (175B version), while GLM [93] and Galactica [35] have 130B and 120B parameters, respectively. Among them, OPT (175B version), with the instruction-tuned version OPT-IML, has been specially motivated for open sharing, which aims to enable researchers to carry out reproducible research at scale. For research in cross-lingual generalization, BLOOM (176B version) and BLOOMZ (176B version) can be used as base models, due to the competence in multilingual language modeling tasks. As a bilingual LLM, GLM has also provided a popular small-sized Chinese chat model ChatGLM2-6B (a updated version for ChatGLM-6B), which is featured with many improvements in efficiency and capacity (_e.g._, quantization, 32K-length context, fast inference rate). Models of this scale typically require thousands of GPUs or TPUs to train. For instance, OPT (175B version) used 992 A100-80GB GPUs, while GLM (130B version) used a cluster of 96 NVIDIA DGX-A100 (8x40G) GPU nodes.
**수백억 개의 파라미터를 가진 모델**. 이 범주에 속하는 모델의 경우, 공개적으로 출시된 모델은 극소수에 불과합니다. 예를 들어, OPT [90], OPT-IML [95], BLOOM [78], BLOOMZ [94]는 GPT-3(175B 버전)와 거의 동일한 수의 파라미터를 가지고 있으며, GLM [93]과 Galactica [35]는 각각 130B와 120B 파라미터를 가지고 있습니다. 이 중 OPT(175B 버전)는 Instruction-tuned 버전인 OPT-IML과 함께 연구자들이 대규모로 재현 가능한 연구를 수행할 수 있도록 하기 위해 특별히 공개적으로 공유하기 위해 동기를 부여했습니다. 다국어 일반화 연구의 경우, 다국어 언어 모델링 작업에서의 역량으로 인해 BLOOM(176B 버전)과 BLOOMZ(176B 버전)를 기본 모델로 사용할 수 있습니다. 이중 언어 LLM인 GLM은 또한 효율성과 용량(_예: Quantization, 32K 길이 컨텍스트, 빠른 추론 속도)이 크게 개선된 인기 있는 소형 중국어 채팅 모델인 ChatGLM2-6B(ChatGLM-6B의 업데이트 버전)를 제공했습니다. 이 규모의 모델은 일반적으로 수천 개의 GPU 또는 TPU가 필요합니다. 예를 들어, OPT(175B 버전)는 992개의 A100-80GB GPU를 사용했으며, GLM(130B 버전)은 96개의 NVIDIA DGX-A100(8x40G) GPU 노드로 구성된 클러스터를 사용했습니다.
**수백억 개의 파라미터를 가진 모델**. 이 범주에 속하는 모델의 경우, 공개적으로 출시된 모델은 극소수에 불과합니다. 예를 들어, OPT [90], OPT-IML [95], BLOOM [78], BLOOMZ [94]는 GPT-3(175B 버전)와 거의 동일한 수의 파라미터를 가지고 있으며, GLM [93]과 Galactica [35]는 각각 130B와 120B 파라미터를 가지고 있습니다. 이 중 OPT(175B 버전)는 명령어 튜닝 버전인 OPT-IML과 함께 연구자들이 대규모로 재현 가능한 연구를 수행할 수 있도록 하기 위해 특별히 공개적으로 공유하기 위해 동기를 부여했습니다. 다국어 일반화 연구의 경우, 다국어 언어 모델링 작업에서의 역량으로 인해 BLOOM(176B 버전)과 BLOOMZ(176B 버전)를 기본 모델로 사용할 수 있습니다. 이중 언어 LLM인 GLM은 또한 효율성과 용량(_예: 양자화, 32K 길이 컨텍스트, 빠른 추론 속도)이 크게 개선된 인기 있는 소형 중국어 채팅 모델인 ChatGLM2-6B(ChatGLM-6B의 업데이트 버전)를 제공했습니다. 이 규모의 모델은 일반적으로 수천 개의 GPU 또는 TPU가 필요합니다. 예를 들어, OPT(175B 버전)는 992개의 A100-80GB GPU를 사용했으며, GLM(130B 버전)은 96개의 NVIDIA DGX-A100(8x40G) GPU 노드로 구성된 클러스터를 사용했습니다.