\(\bullet\)_Ability eliciting_. After being pre-trained on large-scale corpora, LLMs are endowed with potential abilities as general-purpose task solvers. These abilities might not be explicitly exhibited when LLMs perform some specific tasks. As the technical approach, it is useful to design suitable task instructions or specific in-context learning strategies to elicit such abilities. For instance, chain-of-thought prompting has been shown to be useful to solve complex reasoning tasks by including intermediate reasoning steps. Furthermore, we can perform instruction tuning on LLMs with task descriptions expressed in natural language, for improving the generalizability of LLMs on unseen tasks. These eliciting techniques mainly correspond to the emergent abilities of LLMs, which may not show the same effect on small language models.
\(\bullet\)_능력 이끌어내기_. 대규모 말뭉치에 대한 사전 학습을 거친 후, LLM은 범용 작업 솔버로서의 잠재적 능력을 갖추게 됩니다. 이러한 능력은 LLM이 특정 작업을 수행할 때 명시적으로 드러나지 않을 수 있습니다. 기술적 접근 방식으로는 적절한 작업 instructions를 설계하거나 특정 상황에서 학습하는 전략을 설계하여 이러한 능력을 이끌어내는 것이 유용합니다. 예를 들어, chain-of-thought prompting는 복잡한 추론 작업을 해결하는 데 유용한 것으로 나타났는데, 이는 중간 추론 단계를 포함하여 chain-of-thought prompting를 사용하면 유용합니다. 또한 자연어로 표현된 작업 설명을 사용하여 LLM에 대한 Instruction Tuning을 수행하여 보이지 않는 작업에 대한 LLM의 일반화 가능성을 향상시킬 수 있습니다. 이러한 이끌어내기 기술은 주로 LLM의 emergent abilities에 해당하며, 소규모 언어 모델에는 동일한 효과를 보여주지 않을 수 있습니다.
\(\bullet\)_능력 이끌어내기_. 대규모 말뭉치에 대한 사전 학습을 거친 후, LLM은 범용 작업 솔버로서의 잠재적 능력을 갖추게 됩니다. 이러한 능력은 LLM이 특정 작업을 수행할 때 명시적으로 드러나지 않을 수 있습니다. 기술적 접근 방식으로는 적절한 작업 지침을 설계하거나 특정 상황에서 학습하는 전략을 설계하여 이러한 능력을 이끌어내는 것이 유용합니다. 예를 들어, 연쇄 추론 프롬프트는 복잡한 추론 작업을 해결하는 데 유용한 것으로 나타났는데, 이는 중간 추론 단계를 포함하여 연쇄 추론 프롬프트를 사용하면 유용합니다. 또한 자연어로 표현된 작업 설명을 사용하여 LLM에 대한 지침 튜닝을 수행하여 보이지 않는 작업에 대한 LLM의 일반화 가능성을 향상시킬 수 있습니다. 이러한 이끌어내기 기술은 주로 LLM의 부상하는 능력에 해당하며, 소규모 언어 모델에는 동일한 효과를 보여주지 않을 수 있습니다.