**Models with Tens of Billions of Parameters**. Most of the models in this category have a parameter scale ranging from 10B to 20B, except LLaMA [57] and LLaMA2 [99] (containing 70B parameters in the largest version), NLLB [91] (containing 54.5B parameters in the largest version), and Falcon [135] (containing 40B parameters in the largest version). Other models within this range include mT5 [83], PanGu-\(\alpha\)[84], T0 [28], GPT-NeoX-20B [87], CodeGen [86], UL2 [89], Flan-T5 [69], and mT0 [94]. Among them, Flan-T5 (11B version) can serve as a premier model for research on instruction tuning, since it explores the instruction tuning from three aspects [69]: increasing the number of tasks, scaling the model size, and fine-tuning with chain-of-thought prompting data. Besides, CodeGen (11B version), as an autoregressive language model designed for generating code, can be considered as a good candidate for exploring the code generation ability. It also introduces a new benchmark MTPB [86] specially for multi-turn program synthesis, which is composed by 115 expert-generated problems. To solve these problems, it requires LLMs to acquire sufficient programming knowledge (_e.g.,_ math, array operations, and algorithms). More recently, CodeGen2 [97] has been released to explore the impact of choices in model architecture, learning algorithms, and data distributions on the model. As another LLM specialized in coding abilities, StarCoder [98] has also achieved excellent results. As for multilingual tasks, mT0 (13B version) might be a good candidate model, which has been fine-tuned on multilingual tasks with multilingual prompts. Furthermore, PanGu-\(\alpha\)[84] shows good performance in Chinese downstream tasks in zero-shot or few-shot settings, which is developed based on the deep learning framework MindSpore [136]. Note that PanGu-\(\alpha\)[84] holds multiple versions of models (up to 200B parameters), while the largest public version has 13B parameters. As a popular LLM, LLaMA (65B version) [57], which contains approximately five times as many parameters as other models, has exhibited superior performance in tasks related to instruction following. Compared to LLaMA, LLaMA2 [99] has made more explorations in reinforcement learning from human feedback (RLHF) and developed a chat-oriented version called _LLaMA-chat_, which generally outperforms existing open-source models across a range of helpfulness and safety benchmarks. Due to the openness and effectiveness, LLaMA has attracted significant attention from the research community, and many efforts [137, 138, 139, 140] have been devoted to fine-tuning or continually pre-training its different model versions for implementing new models or tools. More recently, Falcon [135], as another open-source LLM, has also achieved very excellent performance on open benchmarks. It is featured by a more careful data cleaning process to prepare the pre-training data (with a publicly shared dataset _RefinedWeb [141]_). Typically, pre-training models at this scale require hundreds or even thousands of GPUs or TPUs. For instance, GPT-NeoX-20B uses 12 supermicro servers, each equipped with 8 NVIDIA A100-SXM4-40GB GPUs, while LLaMA utilizes 2,048 A100-80G GPUs as reported in their original publications. To accurately estimate the computation resources needed, it is suggested to use the metrics measuring the number of involved computations such as _FLOPS_ (_i.e.,_ FLoating point number Operations Per Second) [30].
**수십억 개의 파라미터를 가진 모델**. 이 범주에 속하는 대부분의 모델은 10B에서 20B 범위의 파라미터 규모를 가지고 있으며, LLaMA [57]와 LLaMA2 [99](가장 큰 버전에 70B 파라미터 포함), NLLB [91](가장 큰 버전에 54.5B 파라미터 포함), Falcon [135](가장 큰 버전에 40B 파라미터 포함)를 제외하고는 10B에서 20B 범위의 파라미터 규모를 가지고 있습니다. 이 범위 내의 다른 모델로는 mT5 [83], PanGu-\(\alpha\)[84], T0 [28], GPT-NeoX-20B [87], CodeGen [86], UL2 [89], Flan-T5 [69], mT0 [94] 등이 있습니다. 이 중 Flan-T5(11B 버전)는 과제 수 증가, 모델 크기 확장, 연쇄 사고 프롬프트 데이터로의 Fine-tuning 등 세 가지 측면에서 Instruction Tuning에 대한 연구를 탐구했기 때문에 연구용 Instruction Tuning의 선도 모델로 활용될 수 있습니다. 또한 코드 생성용으로 설계된 CodeGen(11B 버전)은 코드 생성 능력을 탐색하기 위한 좋은 후보로 간주될 수 있으며, 115개의 전문가가 생성한 문제로 구성된 다중 턴 프로그램 합성을 위한 새로운 벤치마크인 MTPB [86]를 소개합니다. 이러한 문제를 해결하기 위해서는 LLM이 충분한 프로그래밍 지식(_예:_ 수학, 배열 연산, 알고리즘)을 습득해야 합니다. 최근에는 모델 아키텍처, 학습 알고리즘, 데이터 분포의 선택이 모델에 미치는 영향을 탐구하기 위해 CodeGen2 [97]가 출시되었습니다. 코딩 능력에 특화된 또 다른 LLM인 StarCoder [98]도 뛰어난 성능을 달성했습니다. 다국어 작업의 경우, 다국어 프롬프트로 다국어 작업에 Fine-tuning한 mT0(13B 버전)가 좋은 후보 모델이 될 수 있습니다. 또한 PanGu-\(\alpha\)[84]는 딥 러닝 프레임워크인 MindSpore [136]를 기반으로 개발된 모델로, 영어가 아닌 언어의 다운스트림 작업에서 zero-shot 또는 few-shot 설정에서 좋은 성능을 보여줍니다. PanGu-\(\alpha\)[84]는 여러 버전의 모델(최대 200B 파라미터)을 보유하고 있으며, 가장 큰 공개 버전은 13B 파라미터를 가지고 있습니다. 다른 모델에 비해 약 5배 많은 파라미터를 포함하고 있는 LLaMA(65B 버전) [57]는 Instruction을 따르는 작업에서 뛰어난 성능을 보여주었습니다. LLaMA에 비해 LLaMA2 [99]는 Reinforcement Learning from Human Feedback (RLHF)을 더 많이 탐구했으며, 일반적으로 다양한 유용성 및 안전성 벤치마크에서 기존 오픈 소스 모델보다 뛰어난 성능을 보이는 _LLaMA-chat_이라는 채팅 중심 버전을 개발했습니다. 개방성과 효율성으로 인해 LLaMA는 연구 커뮤니티에서 큰 관심을 받았으며, 새로운 모델이나 도구를 구현하기 위해 다양한 모델 버전을 Fine-tuning하거나 지속적으로 사전 학습하는 많은 노력 [137, 138, 139, 140]이 기울여졌습니다. 최근에는 또 다른 오픈 소스 LLM인 Falcon [135]도 오픈 벤치마크에서 매우 뛰어난 성능을 달성했습니다. 이 모델은 사전 학습 데이터를 준비하기 위해 보다 신중한 데이터 정리 프로세스(공개적으로 공유되는 데이터 세트 _RefinedWeb [141]_ 포함)가 특징입니다. 일반적으로 이 규모의 사전 학습 모델에는 수백 또는 수천 개의 GPU 또는 TPU가 필요합니다. 예를 들어 GPT-NeoX-20B는 12대의 슈퍼마이크로 서버를 사용하며, 각 서버에는 8개의 NVIDIA A100-SXM4-40GB GPU가 장착되어 있습니다. LLaMA는 원래 발표된 논문에서 보고한 바와 같이 2,048개의 A100-80G GPU를 사용합니다. 필요한 계산 리소스를 정확하게 추정하려면 _FLOPS_(즉, FLoating point number Operations Per Second) [30]와 같은 관련 계산 수를 측정하는 메트릭을 사용하는 것이 좋습니다.
**수십억 개의 파라미터를 가진 모델**. 이 범주에 속하는 대부분의 모델은 10B에서 20B 범위의 파라미터 규모를 가지고 있으며, LLaMA [57]와 LLaMA2 [99](가장 큰 버전에 70B 파라미터 포함), NLLB [91](가장 큰 버전에 54.5B 파라미터 포함), Falcon [135](가장 큰 버전에 40B 파라미터 포함)를 제외하고는 10B에서 20B 범위의 파라미터 규모를 가지고 있습니다. 이 범위 내의 다른 모델로는 mT5 [83], PanGu-\(\알파\)[84], T0 [28], GPT-NeoX-20B [87], CodeGen [86], UL2 [89], Flan-T5 [69], mT0 [94] 등이 있습니다. 이 중 Flan-T5(11B 버전)는 과제 수 증가, 모델 크기 확장, 연쇄 사고 프롬프트 데이터로의 미세 조정 등 세 가지 측면에서 지시 조정에 대한 연구를 탐구했기 때문에 연구용 지시 조정의 선도 모델로 활용될 수 있습니다. 또한 코드 생성용으로 설계된 CodeGen(11B 버전)은 코드 생성 능력을 탐색하기 위한 좋은 후보로 간주될 수 있으며, 115개의 전문가가 생성한 문제로 구성된 다중 턴 프로그램 합성을 위한 새로운 벤치마크인 MTPB [86]를 소개합니다. 이러한 문제를 해결하기 위해서는 LLM이 충분한 프로그래밍 지식(_예:_ 수학, 배열 연산, 알고리즘)을 습득해야 합니다. 최근에는 모델 아키텍처, 학습 알고리즘, 데이터 분포의 선택이 모델에 미치는 영향을 탐구하기 위해 CodeGen2 [97]가 출시되었습니다. 코딩 능력에 특화된 또 다른 LLM인 StarCoder [98]도 뛰어난 성능을 달성했습니다. 다국어 작업의 경우, 다국어 프롬프트로 다국어 작업에 미세 조정한 mT0(13B 버전)가 좋은 후보 모델이 될 수 있습니다. 또한 PanGu-\(\알파\)[84]는 딥 러닝 프레임워크인 MindSpore [136]를 기반으로 개발된 모델로, 영어가 아닌 언어의 다운스트림 작업에서 0샷 또는 몇 샷 설정에서 좋은 성능을 보여줍니다. PanGu-\(\알파\)[84]는 여러 버전의 모델(최대 200B 파라미터)을 보유하고 있으며, 가장 큰 공개 버전은 13B 파라미터를 가지고 있습니다. 다른 모델에 비해 약 5배 많은 파라미터를 포함하고 있는 LLaMA(65B 버전) [57]는 지시에 따르는 작업에서 뛰어난 성능을 보여주었습니다. LLaMA에 비해 LLaMA2 [99]는 인간 피드백으로부터의 강화 학습(RLHF)을 더 많이 탐구했으며, 일반적으로 다양한 유용성 및 안전성 벤치마크에서 기존 오픈 소스 모델보다 뛰어난 성능을 보이는 _LLaMA-chat_이라는 채팅 중심 버전을 개발했습니다. 개방성과 효율성으로 인해 LLaMA는 연구 커뮤니티에서 큰 관심을 받았으며, 새로운 모델이나 도구를 구현하기 위해 다양한 모델 버전을 미세 조정하거나 지속적으로 사전 학습하는 많은 노력 [137, 138, 139, 140]이 기울여졌습니다. 최근에는 또 다른 오픈 소스 LLM인 Falcon [135]도 오픈 벤치마크에서 매우 뛰어난 성능을 달성했습니다. 이 모델은 사전 학습 데이터를 준비하기 위해 보다 신중한 데이터 정리 프로세스(공개적으로 공유되는 데이터 세트 _RefinedWeb [141]_ 포함)가 특징입니다. 일반적으로 이 규모의 사전 학습 모델에는 수백 또는 수천 개의 GPU 또는 TPU가 필요합니다. 예를 들어 GPT-NeoX-20B는 12대의 슈퍼마이크로 서버를 사용하며, 각 서버에는 8개의 NVIDIA A100-SXM4-40GB GPU가 장착되어 있습니다. LLaMA는 원래 발표된 논문에서 보고한 바와 같이 2,048개의 A100-80G GPU를 사용합니다. 필요한 계산 리소스를 정확하게 추정하려면 _FLOPS_(즉, FLoating point number Operations Per Second) [30]와 같은 관련 계산 수를 측정하는 메트릭을 사용하는 것이 좋습니다.