* _Suggestions_: LLMs and small models have their own merits in different aspects: LLMs are can provide unified solutions to various NLP tasks and achieve competitive performance (especially in the zero/few-shot setting), while small models are economical to develop and can be specially tuned according to target tasks, which can achieve good performance with sufficient high-quality labeled data [770, 771, 754, 770, 771]. In applications, one can make suitable choices based on the actual needs, comprehensively considering flexibility, data availability, training compute, and efficiency. * _Future direction:_ Despite the excellent general capacities, LLMs still cannot effectively process the NLP tasks in low-resource domains, _e.g._, minor language translation. To tackle such tasks, it needs to develop effective approaches to injecting necessary task information or domain-specific knowledge into LLMs, either through fine-tuning or prompting. In addition, it is still challenging for LLMs to handle complex semantic relations in classic NLP tasks (_e.g._, nested entity extraction), which is worth more exploration from the underlying working mechanism of LLMs. It is also promising to combine LLMs and fine-tuned small language models for complementing with each other in solving complex cases of classic NLP tasks [772]. Another promising direction is to conduct human-machine collaborative research (_e.g._, conversational translation [768]) on NLP tasks, since LLMs can effectively understand human instructions and make meaningful responses.
* _제안 사항_: LLM과 소형 모델은 다양한 측면에서 고유한 장점을 가지고 있습니다: LLM은 다양한 자연어 처리 작업에 대한 통합 솔루션을 제공하고 경쟁력 있는 성능(특히 zero/few-shot 설정)을 달성할 수 있는 반면, 소형 모델은 개발 비용이 저렴하고 대상 작업에 따라 특별히 조정할 수 있어 고품질의 라벨링된 데이터가 충분하면 우수한 성능을 달성할 수 있습니다[770, 771, 754, 770, 771]. 애플리케이션에서는 유연성, 데이터 가용성, 훈련 컴퓨팅 및 효율성을 종합적으로 고려하여 실제 요구 사항에 따라 적합한 선택을 할 수 있습니다. * _미래 방향:_ 뛰어난 일반적인 역량에도 불구하고 LLM은 여전히 저자원 도메인의 NLP 작업(_예: 소수 언어 번역)을 효과적으로 처리할 수 없습니다. 이러한 작업을 해결하려면 Fine-tuning 또는 프롬프트를 통해 LLM에 필요한 작업 정보 또는 도메인별 지식을 주입하는 효과적인 접근 방식을 개발해야 합니다. 또한, LLM이 고전적인 NLP 작업에서 복잡한 의미 관계(_예: 중첩된 엔티티 추출)를 처리하는 것은 여전히 어려운 과제이며, 이는 LLM의 기본 작동 메커니즘에서 더 많은 탐구가 필요합니다. 또한 LLM과 Fine-tuned 소규모 언어 모델을 결합하여 고전적인 NLP 작업의 복잡한 사례를 해결하는 데 서로를 보완하는 것도 유망한 방향입니다[772]. 또 다른 유망한 방향은 LLM이 인간의 지시를 효과적으로 이해하고 의미 있는 응답을 할 수 있기 때문에 NLP 작업에 대한 인간과 기계의 협업 연구(예: 대화형 번역[768])를 수행하는 것입니다.
* _제안 사항_: LLM과 소형 모델은 다양한 측면에서 고유한 장점을 가지고 있습니다: LLM은 다양한 자연어 처리 작업에 대한 통합 솔루션을 제공하고 경쟁력 있는 성능(특히 제로/소량 샷 설정)을 달성할 수 있는 반면, 소형 모델은 개발 비용이 저렴하고 대상 작업에 따라 특별히 조정할 수 있어 고품질의 라벨링된 데이터가 충분하면 우수한 성능을 달성할 수 있습니다[770, 771, 754, 770, 771]. 애플리케이션에서는 유연성, 데이터 가용성, 훈련 컴퓨팅 및 효율성을 종합적으로 고려하여 실제 요구 사항에 따라 적합한 선택을 할 수 있습니다. * _미래 방향:_ 뛰어난 일반적인 역량에도 불구하고 LLM은 여전히 저자원 도메인의 NLP 작업(_예: 소수 언어 번역)을 효과적으로 처리할 수 없습니다. 이러한 작업을 해결하려면 미세 조정 또는 프롬프트를 통해 LLM에 필요한 작업 정보 또는 도메인별 지식을 주입하는 효과적인 접근 방식을 개발해야 합니다. 또한, LLM이 고전적인 NLP 작업에서 복잡한 의미 관계(_예: 중첩된 엔티티 추출)를 처리하는 것은 여전히 어려운 과제이며, 이는 LLM의 기본 작동 메커니즘에서 더 많은 탐구가 필요합니다. 또한 LLM과 미세 조정된 소규모 언어 모델을 결합하여 고전적인 NLP 작업의 복잡한 사례를 해결하는 데 서로를 보완하는 것도 유망한 방향입니다[772]. 또 다른 유망한 방향은 LLM이 인간의 지시를 효과적으로 이해하고 의미 있는 응답을 할 수 있기 때문에 NLP 작업에 대한 인간과 기계의 협업 연구(예: 대화형 번역[768])를 수행하는 것입니다.