Learning tool-using through synthetic trajectories.Synthetic data is also a powerful approach to enable LMs to learn tool-using abilities through simulated trajectories, as collecting real-world human tool-using data might be time-consuming, and the actual distribution of calls to tools might be skewed. LaMDA (Thoppilan et al., 2022), for instance, was trained not only on web documents but also on interaction data between crowdworkers and the model itself, with the synthetic data annotated with calls to appropriate tools. This training process allowed LaMDA to develop the ability to use a calculator for arithmetic, a search engine for real-time information seeking, and a machine translator for translation. Similarly, Toolformer (Schick et al., 2024) learns to decide which APIs to call and what arguments to pass by training on template-generated data, while Galactica (Taylor et al., 2022) infuse API-calling data into pre-training mixture. ToolApaca (Tang et al., 2023) is a novel framework designed to automatically generate a diverse tool-use corpus, by building a multi-agent simulation environment and letting agents select and use tools iteratively. These examples demonstrate the potential of synthetic trajectories in enabling LMs to acquire tool-using abilities and enhance their reasoning capabilities across various domains.
도구 사용 학습을 위한 합성 경로. 합성 데이터는 실제 세계의 인간 도구 사용 데이터를 수집하는 데 시간이 많이 걸릴 수 있고, 도구 호출의 실제 분포가 왜곡될 수 있기 때문에, 합성 경로를 통해 LMs가 도구 사용 능력을 학습할 수 있게 하는 강력한 접근 방식입니다. 예를 들어, LaMDA (Thoppilan et al., 2022)는 웹 문서뿐만 아니라 크라우드워커와 모델 자체 간의 상호작용 데이터로도 훈련되었으며, 합성 데이터는 적절한 도구 호출로 주석이 달려 있었습니다. 이 훈련 과정은 LaMDA가 산술을 위한 계산기, 실시간 정보 검색을 위한 검색 엔진, 번역을 위한 기계 번역기를 사용할 수 있는 능력을 개발할 수 있게 했습니다. 마찬가지로, Toolformer (Schick et al., 2024)는 템플릿으로 생성된 데이터로 훈련하여 어떤 API를 호출하고 어떤 인수를 전달할지 결정하는 방법을 학습하며, Galactica (Taylor et al., 2022)는 API 호출 데이터를 사전 훈련 혼합물에 주입합니다. ToolApaca (Tang et al., 2023)는 다중 에이전트 시뮬레이션 환경을 구축하고 에이전트가 도구를 선택하고 반복적으로 사용할 수 있게 하여 다양한 도구 사용 코퍼스를 자동으로 생성하도록 설계된 새로운 프레임워크입니다. 이러한 예는 합성 경로가 LMs가 도구 사용 능력을 습득하고 다양한 도메인에서 추론 능력을 향상시키는 잠재력을 보여줍니다.
합성 궤적을 통한 도구 사용 학습.합성 데이터는 실제 인간의 도구 사용 데이터를 수집하는 데 시간이 오래 걸릴 수 있고 도구에 대한 실제 호출 분포가 왜곡될 수 있으므로 LM이 시뮬레이션된 궤적을 통해 도구 사용 능력을 학습할 수 있도록 하는 강력한 접근 방식이기도 합니다. 예를 들어, LaMDA(Thoppilan et al., 2022)는 웹 문서뿐만 아니라 크라우드워커와 모델 간의 상호 작용 데이터에 대해서도 학습했으며, 합성 데이터에는 적절한 도구에 대한 호출이 주석으로 추가되었습니다. 이러한 훈련 과정을 통해 LaMDA는 산술을 위한 계산기, 실시간 정보 검색을 위한 검색 엔진, 번역을 위한 기계 번역기 등의 도구를 사용하는 능력을 개발할 수 있었습니다. 마찬가지로 Toolformer(Schick et al., 2024)는 템플릿으로 생성된 데이터를 학습하여 어떤 API를 호출할지, 어떤 인수를 전달할지 결정하는 방법을 학습하며, Galactica(Taylor et al., 2022)는 API 호출 데이터를 사전 학습 혼합물에 주입합니다. ToolApaca(Tang et al., 2023)는 다중 에이전트 시뮬레이션 환경을 구축하고 에이전트가 도구를 선택하고 반복적으로 사용하도록 하여 다양한 도구 사용 코퍼스를 자동으로 생성하도록 설계된 새로운 프레임워크입니다. 이러한 예는 LM이 도구 사용 능력을 습득하고 다양한 도메인에 걸쳐 추론 능력을 향상시킬 수 있도록 하는 합성 궤적의 잠재력을 보여줍니다.