In the existing literature, PLMs have been widely discussed and surveyed [36, 37, 38, 39], while LLMs are seldom reviewed in a systematic way. To motivate our survey, we first highlight three major differences between LLMs and PLMs. First, LLMs display some surprising emergent abilities that may not be observed in previous smaller PLMs. These abilities are key to the performance of language models on complex tasks, making AI algorithms unprecedently powerful and effective. Second, LLMs would revolutionize the way that humans develop and use AI algorithms. Unlike small PLMs, the major approach to accessing LLMs is through the prompting interface (_e.g.,_ GPT-4 API). Humans have to understand how LLMs work and format their tasks in a way that LLMs can follow. Third, the development of LLMs no longer draws a clear distinction between research and engineering. The training of LLMs requires extensive practical experiences in large-scale data processing and distributed parallel training. To develop capable LLMs, researchers have to solve complicated engineering issues, working with engineers or being engineers.
기존 문헌에서는 PLM(Pre-trained Language Models)에 대해 광범위하게 논의되고 조사되었지만 [36, 37, 38, 39], LLM(Large Language Models)은 체계적으로 검토된 경우가 드뭅니다. 우리의 조사를 동기부여하기 위해, 먼저 LLM과 PLM 사이의 세 가지 주요 차이점을 강조합니다. 첫째, LLM은 이전의 작은 PLM에서는 관찰되지 않았던 놀라운 새로운 능력을 보여줍니다. 이러한 능력은 복잡한 작업에서 언어 모델의 성능에 핵심적이며, AI 알고리즘을 전례 없이 강력하고 효과적으로 만듭니다. 둘째, LLM은 인간이 AI 알고리즘을 개발하고 사용하는 방식을 혁신적으로 변화시킬 것입니다. 작은 PLM과 달리, LLM에 접근하는 주요 방법은 프롬프트 인터페이스(_예:_, GPT-4 API)를 통해 이루어집니다. 인간은 LLM이 어떻게 작동하는지 이해하고, LLM이 따를 수 있는 방식으로 작업을 형식화해야 합니다. 셋째, LLM의 개발은 더 이상 연구와 엔지니어링 사이에 명확한 구분을 두지 않습니다. LLM의 훈련은 대규모 데이터 처리와 분산 병렬 훈련에 대한 광범위한 실무 경험을 필요로 합니다. 유능한 LLM을 개발하기 위해 연구자들은 복잡한 엔지니어링 문제를 해결하고, 엔지니어와 협력하거나 스스로 엔지니어가 되어야 합니다.
기존 문헌에서는 PLM에 대해 널리 논의되고 조사되었지만[36, 37, 38, 39], LLM은 체계적인 방식으로 검토되는 경우가 거의 없습니다. 이 설문조사의 동기를 부여하기 위해 먼저 LLM과 PLM의 세 가지 주요 차이점을 강조합니다. 첫째, LLM은 이전의 작은 PLM에서는 관찰할 수 없었던 몇 가지 놀라운 새로운 능력을 보여줍니다. 이러한 능력은 복잡한 작업에서 언어 모델의 성능을 발휘하는 데 핵심적인 역할을 하며, AI 알고리즘의 힘과 효율성을 전례 없이 강화합니다. 둘째, LLM은 인간이 AI 알고리즘을 개발하고 사용하는 방식에 혁명을 일으킬 것입니다. 소규모 PLM과 달리 LLM에 접근하는 주요 접근 방식은 프롬프트 인터페이스(_예:_ GPT-4 API)를 통해 이루어집니다. 인간은 LLM이 작동하는 방식을 이해하고 LLM이 따라할 수 있는 방식으로 작업을 포맷해야 합니다. 셋째, LLM의 개발은 더 이상 연구와 엔지니어링을 명확하게 구분하지 않습니다. LLM을 훈련하려면 대규모 데이터 처리 및 분산 병렬 훈련에 대한 광범위한 실무 경험이 필요합니다. 유능한 LLM을 개발하기 위해 연구자는 엔지니어와 협력하거나 엔지니어가 되어 복잡한 엔지니어링 문제를 해결해야 합니다.