\(\bullet\)_Tool manipulation._ For tool manipulation, we consider two kinds of tools including search engine and model interfaces. Therefore, we adopt two tool manipulation benchmarks, _i.e.,_ HotpotQA [579] and Gorilla [617]. HotpotQA requires LLMs to use search engine to retrieve documents from the web, and Gorilla to invoke model APIs from three hubs of TorchHub, TensorHub and HuggingFace. We compute _exact match_ for HotpotQA and _accuracy_ for Gorilla. For HotpotQA, we follow ReAct [449] to report the 3-shot performance. For Gorilla, we follow the code released by its paper [617], and evaluate the zero-shot performance.
\(\bullet\)_Tool manipulation._ 도구 조작의 경우 검색 엔진과 모델 인터페이스를 포함한 두 가지 종류의 도구를 고려합니다. 따라서 두 가지 도구 조작 벤치마크, 즉 HotpotQA [579]와 Gorilla [617]를 채택합니다. HotpotQA는 LLM이 검색 엔진을 사용하여 웹에서 문서를 검색해야 하며, Gorilla는 TorchHub, TensorHub 및 HuggingFace의 세 가지 허브에서 모델 API를 호출해야 합니다. HotpotQA의 경우 _exact match_를, Gorilla의 경우 _accuracy_를 계산합니다. HotpotQA의 경우, 3-shot 성능을 보고하기 위해 ReAct [449]를 따릅니다. Gorilla의 경우, 논문 [617]에서 공개된 코드를 따라 zero-shot 성능을 평가합니다.
\(\bullet\)_도구 조작._ 도구 조작의 경우 검색 엔진과 모델 인터페이스를 포함한 두 가지 종류의 도구를 고려합니다. 따라서 두 가지 도구 조작 벤치마크, 즉 HotpotQA [579]와 Gorilla [617]를 채택합니다. HotpotQA는 LLM이 검색 엔진을 사용하여 웹에서 문서를 검색해야 하며, Gorilla는 TorchHub, TensorHub 및 HuggingFace의 세 가지 허브에서 모델 API를 호출해야 합니다. HotpotQA의 경우 _정확도_를, Gorilla의 경우 _정확도_를 계산합니다. HotpotQA의 경우, 3샷 성능을 보고하기 위해 ReAct [449]를 따릅니다. Gorilla의 경우, 논문 [617]에서 공개된 코드를 따라 제로샷 성능을 평가합니다.