Recently, Large-scale language models (LLMs) have garnered significant attention and become the go-to approach for numerous natural language processing (NLP) tasks, including open domain conversation [1; 2; 3; 4], coding [5; 6; 7; 8; 9; 10; 11; 12; 13] and math [14; 15; 16; 17; 18; 19]. A conspicuous example is ChatGPT, developed by OpenAI. This model uses extensive pre-training on large-scale internet data and further fine-tuning with specific instruction data and methods. As a result, it achieves state-of-the-art zero-shot performance on various benchmarks. Subsequently, Anthropic, Google, and Meta also launched their competitive products one after another. Notably, Meta's series of Llama [4; 20] models have sparked an open-source revolution and quickly narrowed the gap with those closed-source LLMs. This trend also gradually stimulates the releases of MPT4, Falcon [21], StarCoder [12], Alpaca [22], Vicuna [23], and WizardLM [24], etc. However, these open models still struggles with the scenarios which require complex multi-step quantitative reasoning, such as solving mathematical and science challenges [25; 26; 27; 28; 29; 30; 31; 32; 33; 34; 35].
최근 Large-scale language models (LLMs)은 개방형 도메인 대화[1; 2; 3; 4], 코딩[5; 6; 7; 8; 9; 10; 11; 12; 13] 및 수학[14; 15; 16; 17; 18; 19]을 포함한 다양한 자연어 처리(NLP) 작업에 주목을 받고 있으며, 이는 다양한 NLP 작업의 최고 접근 방식이 되고 있습니다. 대표적인 예로 OpenAI에서 개발한 ChatGPT가 있습니다. 이 모델은 대규모 인터넷 데이터에 대한 광범위한 사전 학습과 특정 instruction 데이터 및 방법을 사용하여 추가 Fine-tuning을 수행합니다. 그 결과 다양한 벤치마크에서 최첨단 zero-shot 성능을 달성합니다. 이후 Anthropic, Google, Meta도 차례로 경쟁력 있는 제품을 출시했습니다. 특히, Meta의 일련의 Llama [4; 20] 모델은 오픈 소스 혁명을 촉발했으며 폐쇄형 LLM과의 격차를 빠르게 좁혔습니다. 이러한 추세는 점차 MPT4, Falcon [21], StarCoder [12], Alpaca [22], Vicuna [23], WizardLM [24] 등의 출시에도 자극을 주고 있습니다. 그러나 이러한 오픈 모델은 수학 및 과학 문제 해결과 같이 복잡한 다단계 정량적 추론이 필요한 시나리오에서는 여전히 어려움을 겪고 있습니다[25; 26; 27; 28; 29; 30; 31; 32; 33; 34; 35].
최근 대규모 언어 모델(LLM)은 개방형 도메인 대화[1; 2; 3; 4], 코딩[5; 6; 7; 8; 9; 10; 11; 12; 13] 및 수학[14; 15; 16; 17; 18; 19]을 포함한 다양한 자연어 처리(NLP) 작업에 주목을 받고 있으며, 이는 다양한 NLP 작업의 최고 접근 방식이 되고 있습니다. 대표적인 예로 OpenAI에서 개발한 ChatGPT가 있습니다. 이 모델은 대규모 인터넷 데이터에 대한 광범위한 사전 학습과 특정 지침 데이터 및 방법을 사용하여 추가 미세 조정을 수행합니다. 그 결과 다양한 벤치마크에서 최첨단 제로 샷 성능을 달성합니다. 이후 Anthropic, Google, Meta도 차례로 경쟁력 있는 제품을 출시했습니다. 특히, Meta의 일련의 Llama [4; 20] 모델은 오픈 소스 혁명을 촉발했으며 폐쇄형 LLM과의 격차를 빠르게 좁혔습니다. 이러한 추세는 점차 MPT4, Falcon [21], StarCoder [12], Alpaca [22], Vicuna [23], WizardLM [24] 등의 출시에도 자극을 주고 있습니다. 그러나 이러한 오픈 모델은 수학 및 과학 문제 해결과 같이 복잡한 다단계 정량적 추론이 필요한 시나리오에서는 여전히 어려움을 겪고 있습니다[25; 26; 27; 28; 29; 30; 31; 32; 33; 34; 35].