**Domain Specialization.** Existing LLMs have showcased superior capabilities in traditional NLP tasks (_e.g._, generation and reasoning) and daily questions. However, they may still lack domain knowledge to accomplish specific tasks, such as medicine, law, and finance (See Section 8 for a detailed discussion of LLMs in different applications). Instruction tuning is an effective approach to adapting existing general LLMs to be domain-specific experts. For instance, researchers propose to fine-tune Flan-PaLM [69] using medical datasets to create Med-PaLM [356], a medical knowledge assistant that achieves performance levels comparable to those of expert clinicians. Furthermore, a recent study [357] fine-tunes FLAN-T5 to support e-commerce recommender systems with natural language instructions, showing strong performance in a variety of recommendation tasks. There are also several open-sourced medical models instruction-tuned based on LLaMA [57], such as BenTsao [358]. Also, researchers explore instruction tuning on law [359], finance [360], and arithmetic computation [361].
**Domain Specialization**. 기존 LLM은 기존 NLP 작업(예: 생성 및 추론)과 일상적인 질문에서 우수한 기능을 선보였습니다. 그러나 의학, 법률, 금융과 같은 특정 작업을 수행하기 위한 도메인 지식이 부족할 수 있습니다(다양한 애플리케이션에서의 LLM에 대한 자세한 논의는 섹션 8 참조). Instruction Tuning은 기존의 일반 LLM을 도메인별 전문가로 조정하는 효과적인 접근 방식입니다. 예를 들어, 연구자들은 의료 데이터 세트를 사용하여 Flan-PaLM [69]을 Fine-tuning하여 전문 임상의와 비슷한 수준의 성능을 달성하는 의료 지식 도우미인 Med-PaLM [356]을 만들었습니다. 또한 최근 연구 [357]에서는 자연어 명령어를 통해 이커머스 추천 시스템을 지원하기 위해 FLAN-T5를 Fine-tuning하여 다양한 추천 작업에서 강력한 성능을 보여주었습니다. 또한 LLaMA [57]를 기반으로 Instruction Tuning된 BenTsao [358]와 같은 몇 가지 오픈 소스 의료 모델도 있습니다. 또한 연구자들은 법률 [359], 금융 [360], 산술 계산 [361]에 대한 Instruction Tuning을 탐구하고 있습니다.
**도메인 전문화**. 기존 LLM은 기존 NLP 작업(예: 생성 및 추론)과 일상적인 질문에서 우수한 기능을 선보였습니다. 그러나 의학, 법률, 금융과 같은 특정 작업을 수행하기 위한 도메인 지식이 부족할 수 있습니다(다양한 애플리케이션에서의 LLM에 대한 자세한 논의는 섹션 8 참조). 명령어 튜닝은 기존의 일반 LLM을 도메인별 전문가로 조정하는 효과적인 접근 방식입니다. 예를 들어, 연구자들은 의료 데이터 세트를 사용하여 Flan-PaLM [69]을 미세 조정하여 전문 임상의와 비슷한 수준의 성능을 달성하는 의료 지식 도우미인 Med-PaLM [356]을 만들었습니다. 또한 최근 연구 [357]에서는 자연어 명령어를 통해 이커머스 추천 시스템을 지원하기 위해 FLAN-T5를 미세 조정하여 다양한 추천 작업에서 강력한 성능을 보여주었습니다. 또한 LLaMA [57]를 기반으로 명령어 튜닝된 벤츠아오 [358]와 같은 몇 가지 오픈 소스 의료 모델도 있습니다. 또한 연구자들은 법률 [359], 금융 [360], 산술 계산 [361]에 대한 명령어 튜닝을 탐구하고 있습니다.