This is a survey on _large_ language models, and there has been an initial push towards "larger is better" that has clearly been rewarded with ever larger models like GPT-4 getting better accuracy and performance in benchmarks. However, those large models are costly and inefficient in several dimensions (e.g. high latency). In response to all of this, there is a current research trend to come up with Small Language Models (SLMs) as a cost-effective alternative to LLMs, particularly when used on specific tasks that might not require the full generality of larger models. Prominent works in this direction include Phi-1 [208], Phi-1.5 [209], and Phi-2 from Microsoft.
이것은 _대규모_ 언어 모델에 대한 설문조사이며, GPT-4와 같은 더 큰 모델이 벤치마크에서 더 나은 정확도와 성능을 제공함으로써 분명히 보상을 받은 "더 큰 것이 더 낫다"는 초기 추진이 있었습니다. 그러나 이러한 Large Language Models (LLMs)은 여러 측면에서 비용이 많이 들고 비효율적입니다(예: 높은 지연 시간). 이에 대한 대응으로, 특히 더 큰 모델의 전체적인 일반성이 필요하지 않을 수 있는 특정 작업에 사용할 때 LLM의 비용 효율적인 대안으로 Small Language Models (SLMs)을 제시하는 것이 현재 연구 트렌드입니다. 이러한 방향의 대표적인 연구로는 Microsoft의 Phi-1[208], Phi-1.5[209], Phi-2 등이 있습니다.
이것은 _대규모_ 언어 모델에 대한 설문조사이며, GPT-4와 같은 더 큰 모델이 벤치마크에서 더 나은 정확도와 성능을 제공함으로써 분명히 보상을 받은 "더 큰 것이 더 낫다"는 초기 추진이 있었습니다. 그러나 이러한 대규모 모델은 여러 측면에서 비용이 많이 들고 비효율적입니다(예: 높은 지연 시간). 이에 대한 대응으로, 특히 더 큰 모델의 전체적인 일반성이 필요하지 않을 수 있는 특정 작업에 사용할 때 LLM의 비용 효율적인 대안으로 소형 언어 모델(SLM)을 제시하는 것이 현재 연구 트렌드입니다. 이러한 방향의 대표적인 연구로는 Microsoft의 Phi-1[208], Phi-1.5[209], Phi-2 등이 있습니다.