**Model Utilization.** Based on the natural language interface, _prompting_ has become the prominent approach for using LLMs to solving various tasks. By combining task descriptions and demonstration examples into prompts, in-context learning (ICL) endows LLMs with the ability to perform well on new tasks, even outperforming full-data fine-tuned models in some cases. To enhance the ability of complex reasoning, advanced prompting techniques have been proposed, exemplified by the chain-of-thought (CoT) strategy, which includes the intermediate reasoning steps into prompts. Furthermore, planning is a promising approach for solving complex tasks, which iteratively invokes LLMs by leveraging tool use capacities. Despite these efforts, several basic problems related to prompting are still under-explored: why a good prompt can elicit the correct answer but a bad prompt cannot, how to reveal the working principles of advanced prompting methods (_e.g._, ICL and CoT) and further improve these existing approaches, and how to efficiently find the effective prompts for LLMs on specific tasks. Furthermore, from a practical perspective, it has become a fundamental challenge to reduce the inference cost of LLMs, especially in large-scale deployment. Another popular research direction is retrieval-augmented generation, where retrieved contexts from supporting sources are included into prompts for task solving. It has been shown that retrieval augmentation can extend the knowledge boundary and improve the question answering capacity [461], but may suffer from the effectiveness of long context utilization by LLMs [299].
**Model Utilization**. 자연어 인터페이스를 기반으로 _prompting_은 다양한 작업을 해결하기 위해 LLM을 사용하는 데 널리 사용되는 접근 방식이 되었습니다. 작업 설명과 데모 예제를 프롬프트에 결합함으로써, In-Context Learning (ICL)은 LLM이 새로운 작업을 잘 수행할 수 있는 능력을 부여하며, 경우에 따라 전체 데이터를 Fine-tuning한 모델보다 더 나은 성능을 발휘하기도 합니다. 복잡한 추론 능력을 향상시키기 위해 고급 prompting 기법이 제안되었으며, 프롬프트에 중간 추론 단계를 포함하는 Chain-of-Thought (CoT) 전략이 대표적인 예입니다. 또한 계획은 도구 사용 능력을 활용하여 LLM을 반복적으로 호출하는 복잡한 작업을 해결하기 위한 유망한 접근 방식입니다. 이러한 노력에도 불구하고 prompting과 관련된 몇 가지 기본적인 문제는 여전히 미개척 상태입니다. 좋은 프롬프트는 어떻게 정답을 이끌어낼 수 있지만 나쁜 프롬프트는 그렇지 못한가, 고급 prompting 방법(_예: ICL 및 CoT)의 작동 원리를 밝히고 기존 접근 방식을 더욱 개선하는 방법, 특정 작업에서 LLM에 효과적인 프롬프트를 효율적으로 찾는 방법 등이 여기에 포함됩니다. 또한 실용적인 관점에서 볼 때, 특히 대규모 배포 시 LLM의 추론 비용을 줄이는 것은 기본적인 과제가 되었습니다. 또 다른 인기 있는 연구 방향은 지원 소스에서 검색된 컨텍스트를 프롬프트에 포함시켜 작업을 해결하는 Retrieval-augmented generation입니다. Retrieval augmentation은 지식의 경계를 확장하고 질문 답변 능력을 향상시킬 수 있지만, LLM의 장문 문맥 활용 효과에 영향을 받을 수 있다는 것이 입증되었습니다[461].
**모델 활용**. 자연어 인터페이스를 기반으로 _프롬프트_는 다양한 작업을 해결하기 위해 LLM을 사용하는 데 널리 사용되는 접근 방식이 되었습니다. 작업 설명과 데모 예제를 프롬프트에 결합함으로써, 컨텍스트 내 학습(ICL)은 LLM이 새로운 작업을 잘 수행할 수 있는 능력을 부여하며, 경우에 따라 전체 데이터를 미세 조정한 모델보다 더 나은 성능을 발휘하기도 합니다. 복잡한 추론 능력을 향상시키기 위해 고급 프롬프트 기법이 제안되었으며, 프롬프트에 중간 추론 단계를 포함하는 생각의 사슬(CoT) 전략이 대표적인 예입니다. 또한 계획은 도구 사용 능력을 활용하여 LLM을 반복적으로 호출하는 복잡한 작업을 해결하기 위한 유망한 접근 방식입니다. 이러한 노력에도 불구하고 프롬프트와 관련된 몇 가지 기본적인 문제는 여전히 미개척 상태입니다. 좋은 프롬프트는 어떻게 정답을 이끌어낼 수 있지만 나쁜 프롬프트는 그렇지 못한가, 고급 프롬프트 방법(_예: ICL 및 CoT)의 작동 원리를 밝히고 기존 접근 방식을 더욱 개선하는 방법, 특정 작업에서 LLM에 효과적인 프롬프트를 효율적으로 찾는 방법 등이 여기에 포함됩니다. 또한 실용적인 관점에서 볼 때, 특히 대규모 배포 시 LLM의 추론 비용을 줄이는 것은 기본적인 과제가 되었습니다. 또 다른 인기 있는 연구 방향은 지원 소스에서 검색된 컨텍스트를 프롬프트에 포함시켜 작업을 해결하는 검색 증강 생성입니다. 검색 증강은 지식의 경계를 확장하고 질문 답변 능력을 향상시킬 수 있지만, LLM의 장문 문맥 활용 효과에 영향을 받을 수 있다는 것이 입증되었습니다[461].