**Word/Sentence-level Tasks.** As long-standing NLP tasks, word-level (_e.g._, word clustering [748] and sense disambiguation [749]) and sentence-level tasks (sentence matching [750] and sentiment classification [751]) have been widely studied in the literature and applied in real-world platforms. To solve these tasks, the key is to accurately understand the semantic information about the words or sentences. As rich high-quality labeled data about these tasks has been accumulated so far, existing work [23, 39] finds that small language models can achieve very good performance by fine-tuning on it. Recent studies [752, 55] have also tested the performance of LLMs on these tasks, showing that LLMs can also perform well via in-context learning (with very few examples). Whereas, as small models can be specially optimized on these tasks to learn the specific task requirement and domain knowledge, full-data fine-tuned small models can mostly outperform LLMs using in-context learning on several classic tasks [753, 754], _e.g._, semantic matching and sentiment analysis.
**단어/문장 수준 작업.** 오랜 NLP 작업으로서 단어 수준(_예: 단어 클러스터링[748] 및 의미 해독[749])과 문장 수준 작업(문장 매칭[750] 및 감정 분류[751])은 문헌에서 널리 연구되어 실제 플랫폼에서 적용되었습니다. 이러한 작업을 해결하기 위해서는 단어나 문장에 대한 의미 정보를 정확하게 이해하는 것이 핵심입니다. 지금까지 이러한 작업에 대한 풍부한 고품질 레이블 데이터가 축적되어 왔기 때문에 기존 연구[23, 39]에서는 이를 Fine-tuning함으로써 소규모 언어 모델이 매우 우수한 성능을 달성할 수 있다는 사실을 발견했습니다. 최근 연구[752, 55]에서도 이러한 작업에 대한 LLM의 성능을 테스트한 결과, LLM도 In-Context Learning(매우 적은 예제로)을 통해 우수한 성능을 발휘할 수 있음을 보여주었습니다. 반면, 소형 모델은 이러한 작업에 특별히 최적화되어 특정 작업 요구 사항과 도메인 지식을 학습할 수 있으므로, 전체 데이터를 Fine-tuning한 소형 모델은 대부분 In-Context Learning을 사용하는 LLM이 여러 고전적인 작업[753, 754]에서 대부분 우수한 성능을 발휘할 수 있습니다, _예: 의미 일치 및 감정 분석.
**단어/문장 수준 작업.** 오랜 NLP 작업으로서 단어 수준(_예: 단어 클러스터링[748] 및 의미 해독[749])과 문장 수준 작업(문장 매칭[750] 및 감정 분류[751])은 문헌에서 널리 연구되어 실제 플랫폼에서 적용되었습니다. 이러한 작업을 해결하기 위해서는 단어나 문장에 대한 의미 정보를 정확하게 이해하는 것이 핵심입니다. 지금까지 이러한 작업에 대한 풍부한 고품질 레이블 데이터가 축적되어 왔기 때문에 기존 연구[23, 39]에서는 이를 미세 조정함으로써 소규모 언어 모델이 매우 우수한 성능을 달성할 수 있다는 사실을 발견했습니다. 최근 연구[752, 55]에서도 이러한 작업에 대한 LLM의 성능을 테스트한 결과, LLM도 인컨텍스트 학습(매우 적은 예제로)을 통해 우수한 성능을 발휘할 수 있음을 보여주었습니다. 반면, 소형 모델은 이러한 작업에 특별히 최적화되어 특정 작업 요구 사항과 도메인 지식을 학습할 수 있으므로, 전체 데이터를 미세 조정한 소형 모델은 대부분 인컨텍스트 학습을 사용하는 LLM이 여러 고전적인 작업[753, 754]에서 대부분 우수한 성능을 발휘할 수 있습니다, _예: 의미 일치 및 감정 분석.