To examine the ability of tool manipulation, existing work mostly adopts complex reasoning tasks for evaluation, such as mathematical problem solving (_e.g._, GSM8k [184] and SVAMP [592]) or knowledge question answering (_e.g._, TruthfulQA [556]), where the successful utilization of tools is very important for enhancing the required skills that LLMs are incapable in (_e.g._, numerical calculation). In this way, the evaluated performance on these tasks can reflect the ability of LLMs in tool manipulation. To teach LLMs to utilize tools, existing studies add exemplars using tools in context to elicit LLMs [443], or fine-tune LLMs on simulated data about tool utilization [693, 80]. It has been found that with the help of tools, LLMs become more capable of handling the issues that they are not good at, _e.g._, equation calculation and answering timely questions [80, 448]. However, as the number of available tools increases, the limited context length of LLMs may pose challenges in describing and demonstrating extensive tool APIs. To address this issue, existing work retrieves the usage of relevant tools, or encoding tool information as tokens within the embedding space [702, 703, 704].
도구 조작 능력을 검토하기 위해 기존 작업은 대부분 수학 문제 해결(_예: GSM8k [184] 및 SVAMP [592])이나 지식 질문 답변(_예: TruthfulQA [556])과 같은 복잡한 추론 작업을 평가에 채택하며, 이러한 작업에서 도구를 성공적으로 활용하는 것은 LLM이 수행할 수 없는(_예: 수치 계산) 필수 기술을 향상하는 데 매우 중요합니다. 이러한 방식으로 이러한 작업에 대한 평가 성능은 도구 조작에 대한 LLM의 능력을 반영할 수 있습니다. LLM이 도구를 활용하도록 가르치기 위해 기존 연구에서는 맥락에서 도구를 사용한 예제를 추가하여 LLM을 이끌어내거나 [443] 도구 활용에 대한 시뮬레이션 데이터에 대해 Fine-tuning합니다 [693, 80]. 도구의 도움으로 LLM은 방정식 계산 및 시기적절한 질문에 대한 답변과 같이 자신이 잘하지 못하는 문제를 더 잘 처리할 수 있는 것으로 밝혀졌습니다[80, 448]. 그러나 사용 가능한 도구의 수가 증가함에 따라 LLM의 제한된 컨텍스트 길이가 광범위한 도구 API를 설명하고 시연하는 데 어려움을 초래할 수 있습니다. 이 문제를 해결하기 위해 기존 작업에서는 관련 도구의 사용을 검색하거나 임베딩 공간 내에서 토큰으로 도구 정보를 인코딩합니다 [702, 703, 704].
도구 조작 능력을 검토하기 위해 기존 작업은 대부분 수학 문제 해결(_예: GSM8k [184] 및 SVAMP [592])이나 지식 질문 답변(_예: TruthfulQA [556])과 같은 복잡한 추론 작업을 평가에 채택하며, 이러한 작업에서 도구를 성공적으로 활용하는 것은 LLM이 수행할 수 없는(_예: 수치 계산) 필수 기술을 향상하는 데 매우 중요합니다. 이러한 방식으로 이러한 작업에 대한 평가 성능은 도구 조작에 대한 LLM의 능력을 반영할 수 있습니다. LLM이 도구를 활용하도록 가르치기 위해 기존 연구에서는 맥락에서 도구를 사용한 예제를 추가하여 LLM을 이끌어내거나 [443] 도구 활용에 대한 시뮬레이션 데이터에 대해 LLM을 미세 조정합니다 [693, 80]. 도구의 도움으로 LLM은 방정식 계산 및 시기적절한 질문에 대한 답변과 같이 자신이 잘하지 못하는 문제를 더 잘 처리할 수 있는 것으로 밝혀졌습니다[80, 448]. 그러나 사용 가능한 도구의 수가 증가함에 따라 LLM의 제한된 컨텍스트 길이가 광범위한 도구 API를 설명하고 시연하는 데 어려움을 초래할 수 있습니다. 이 문제를 해결하기 위해 기존 작업에서는 관련 도구의 사용을 검색하거나 임베딩 공간 내에서 토큰으로 도구 정보를 인코딩합니다 [702, 703, 704].