\(\bullet\)_Fine-tuning with LLM Generated Datasets_. Building human annotated dataset needs to recruit people, which can be costly, especially when one needs to annotate a large amount of samples. Considering that LLMs can achieve human-like capabilities in a wide range of tasks, a natural idea is using LLMs to accomplish the annotation task. While the datasets produced from this method can be not as perfect as the human annotated ones, it is much cheaper, and can be leveraged to generate more samples. For example, in ToolBench [14], to enhance the tool-using capability of open-source LLMs, the authors collect 16,464 real-world APIs spanning 49 categories from the RapidAPI Hub. They used these APIs to prompt ChatGPT to generate diverse instructions, covering both single-tool and multi-tool scenarios. Based on the obtained dataset, the authors fine-tune LLaMA [9], and obtain significant performance improvement in terms of tool using. In [82], to empower the agent with social capability, the authors design a sandbox, and deploy multiple agents to interact with each other. Given a social question, the central agent first generates initial responses. Then, it shares the responses to its nearby agents for collecting their feedback. Based on the feedback as well as its detailed explanations, the central agent revise its initial responses to make them more consistent with social norms. In this process, the authors collect a large amount of agent social interaction data, which is then leveraged to fine-tune the LLMs.
\(\bullet\)_LLM 생성 데이터 세트로의 Fine-tuning_. 사람이 주석을 달 수 있는 데이터 세트를 구축하려면 특히 많은 양의 샘플에 대한 주석을 달아야 할 때 비용이 많이 들 수 있습니다. LLM이 다양한 작업에서 인간과 같은 역량을 달성할 수 있다는 점을 고려할 때, 자연스러운 아이디어는 LLM을 사용하여 주석 작업을 수행하는 것입니다. 이 방법으로 생성된 데이터 세트는 사람이 주석을 단 데이터 세트만큼 완벽하지 않을 수 있지만, 훨씬 저렴하고 더 많은 샘플을 생성하는 데 활용할 수 있습니다. 예를 들어, ToolBench [14]에서는 오픈 소스 LLM의 도구 사용 기능을 향상시키기 위해 저자들은 RapidAPI 허브에서 49개 카테고리에 걸쳐 16,464개의 실제 API를 수집했습니다. 이러한 API를 사용하여 ChatGPT에 프롬프트를 보내 단일 도구 및 다중 도구 시나리오를 모두 포함하는 다양한 Instructions을 생성했습니다. 얻은 데이터 세트를 기반으로 저자들은 LLaMA [9]를 Fine-tuning하여 도구 사용 측면에서 상당한 성능 향상을 얻었습니다. [82]에서는 에이전트에게 소셜 기능을 부여하기 위해 샌드박스를 설계하고 여러 에이전트를 배포하여 서로 상호 작용하도록 했습니다. 소셜 질문이 주어지면 중앙 에이전트는 먼저 초기 응답을 생성합니다. 그런 다음, 이 응답을 주변 에이전트와 공유하여 피드백을 수집합니다. 중앙 에이전트는 피드백과 자세한 설명을 바탕으로 초기 응답을 수정하여 사회적 규범과 더 일치하도록 합니다. 이 과정에서 저자들은 대량의 에이전트 소셜 상호작용 데이터를 수집한 후 이를 활용하여 LLM을 Fine-tuning합니다.
\(\bullet\)_LLM 생성 데이터 세트로의 미세 조정_. 사람이 주석을 달 수 있는 데이터 세트를 구축하려면 특히 많은 양의 샘플에 대한 주석을 달아야 할 때 비용이 많이 들 수 있습니다. LLM이 다양한 작업에서 인간과 같은 역량을 달성할 수 있다는 점을 고려할 때, 자연스러운 아이디어는 LLM을 사용하여 주석 작업을 수행하는 것입니다. 이 방법으로 생성된 데이터 세트는 사람이 주석을 단 데이터 세트만큼 완벽하지 않을 수 있지만, 훨씬 저렴하고 더 많은 샘플을 생성하는 데 활용할 수 있습니다. 예를 들어, ToolBench [14]에서는 오픈 소스 LLM의 도구 사용 기능을 향상시키기 위해 저자들은 RapidAPI 허브에서 49개 카테고리에 걸쳐 16,464개의 실제 API를 수집했습니다. 이러한 API를 사용하여 ChatGPT에 프롬프트를 보내 단일 도구 및 다중 도구 시나리오를 모두 포함하는 다양한 지침을 생성했습니다. 얻은 데이터 세트를 기반으로 저자들은 LLaMA [9]를 미세 조정하여 도구 사용 측면에서 상당한 성능 향상을 얻었습니다. [82]에서는 에이전트에게 소셜 기능을 부여하기 위해 샌드박스를 설계하고 여러 에이전트를 배포하여 서로 상호 작용하도록 했습니다. 소셜 질문이 주어지면 중앙 에이전트는 먼저 초기 응답을 생성합니다. 그런 다음, 이 응답을 주변 에이전트와 공유하여 피드백을 수집합니다. 중앙 에이전트는 피드백과 자세한 설명을 바탕으로 초기 응답을 수정하여 사회적 규범과 더 일치하도록 합니다. 이 과정에서 저자들은 대량의 에이전트 소셜 상호작용 데이터를 수집한 후 이를 활용하여 LLM을 미세 조정합니다.