Typically, _large language models_ (LLMs) refer to Transformer language models that contain hundreds of billions (or more) of parameters4, which are trained on massive text data [32], such as GPT-3 [55], PaLM [56], Galactica [35], and LLMA [57]. LLMs exhibit strong capacities to understand natural language and solve complex tasks (via text generation). To have a quick understanding of how LLMs work, this part introduces the basic background for LLMs, including scaling laws, emergent abilities and key techniques.
일반적으로 Large Language Models (LLMs)는 수십억 개(또는 그 이상)의 파라미터를 포함하는 Transformer 언어 모델을 말하며, GPT-3[55], PaLM[56], Galactica[35], LLMA[57]와 같이 대규모 텍스트 데이터[32]로 학습됩니다. LLMs는 자연어를 이해하고 복잡한 작업을 해결하는 강력한 역량(텍스트 생성을 통해)을 보여줍니다. LLMs의 작동 방식을 간략하게 이해하기 위해 이 부분에서는 Scaling laws, emergent abilities 및 주요 기술을 포함한 LLMs의 기본 배경을 소개합니다.
일반적으로 LLM(대규모 언어 모델)은 수십억 개(또는 그 이상)의 파라미터를 포함하는 트랜스포머 언어 모델을 말하며, GPT-3[55], PaLM[56], 갈락티카[35], LLMA[57]와 같이 대규모 텍스트 데이터[32]로 학습됩니다. LLM은 자연어를 이해하고 복잡한 작업을 해결하는 강력한 역량(텍스트 생성을 통해)을 보여줍니다. LLM의 작동 방식을 간략하게 이해하기 위해 이 부분에서는 스케일링 법칙, 새로운 기능 및 주요 기술을 포함한 LLM의 기본 배경을 소개합니다.