To fine-tune the agent, utilizing human annotated datasets is a versatile approach that can be employed in various application scenarios. In this approach, researchers first design annotation tasks and then recruit workers to complete them. For example, in CoH [84], the authors aim to align LLMs with human values and preferences. Different from the other models, where the human feedback is leveraged in a simple and symbolic manner, this method converts the human feedback into detailed comparison information in the form of natural languages. The LLMs are directly fine-tuned based on these natural language datasets. In RET-LLM [42], in order to better convert natural languages into structured memory information, the authors fine-tune LLMs based on a human constructed dataset, where each sample is a "triplet-natural language" pair. In WebShop [85], the authors collect 1.18 million real-world products form amazon.com, and put them onto a simulated e-commerce website, which contains several carefully designed human shopping scenarios. Based on this website, the authors recruit 13 workers to collect a real-human behavior dataset. At last, three methods based on heuristic rules, imitation learning and reinforcement learning are trained based on this dataset. Although the authors do not fine-tune LLM-based agents, we believe that the dataset proposed in this paper holds immense potential to enhance the capabilities of agents in the field of web shopping. In EduChat [86], the authors aim to enhance the educational functions of LLMs, such as open-domain question answering, essay assessment, Socratic teaching, and emotional support. They fine-tune LLMs based on human annotated datasets that cover various educational scenarios and tasks. These datasets are manually evaluated and curated by psychology experts and frontline teachers. SWIFTSAGE [87] is an agent influenced by the dual-process theory of human cognition [88], which is effective for solving complex interactive reasoning tasks. In this agent, the SWIFT module constitutes a compact encoder-decoder language model, which is fine-tuned using human-annotated datasets.
인간이 주석을 달은 데이터 세트를 활용하여 에이전트를 Fine-tuning하는 것은 다양한 애플리케이션 시나리오에서 사용할 수 있는 다용도 접근 방식입니다. 이 접근 방식에서 연구자들은 먼저 주석 작업을 설계한 다음 작업자를 모집하여 작업을 완료합니다. 예를 들어, CoH [84]에서 저자들은 인간의 가치와 선호도에 따라 LLM을 조정하는 것을 목표로 합니다. 인간 피드백을 단순하고 상징적인 방식으로 활용하는 다른 모델과는 달리, 이 방법은 인간 피드백을 자연어 형태의 상세한 비교 정보로 변환합니다. 이러한 자연어 데이터 세트를 기반으로 LLM을 직접 Fine-tuning합니다. RET-LLM [42]에서는 자연어를 구조화된 메모리 정보로 더 잘 변환하기 위해 저자들은 각 샘플이 "트리플-자연어" 쌍인 사람이 구축한 데이터 세트를 기반으로 LLM을 Fine-tuning합니다. WebShop [85]에서는 저자들이 amazon.com에서 실제 제품 118만 개를 수집하여 여러 가지 인간의 쇼핑 시나리오를 세심하게 설계한 시뮬레이션 전자상거래 웹사이트에 올렸습니다. 이 웹사이트를 기반으로 저자들은 13명의 작업자를 모집하여 실제 인간 행동 데이터 세트를 수집했습니다. 마지막으로 휴리스틱 규칙, 모방 학습 및 Reinforcement Learning을 기반으로 한 세 가지 방법이 이 데이터 세트를 기반으로 학습되었습니다. 저자들은 LLM 기반 에이전트를 Fine-tuning하지는 않았지만, 이 논문에서 제안한 데이터 세트가 웹 쇼핑 분야에서 에이전트의 역량을 향상시킬 수 있는 엄청난 잠재력을 가지고 있다고 생각합니다. EduChat [86]에서 저자들은 광범위한 질문 답변, 에세이 평가, 소크라테스식 교육, 정서적 지원 등 LLM의 교육 기능을 향상시키는 것을 목표로 합니다. 이들은 다양한 교육 시나리오와 과제를 다루는 인간이 주석을 단 데이터 세트를 기반으로 LLM을 Fine-tuning합니다. 이러한 데이터 세트는 심리학 전문가와 일선 교사가 수동으로 평가하고 큐레이션합니다. SWIFTSAGE [87]는 인간 인지의 이중 과정 이론 [88]의 영향을 받은 에이전트로, 복잡한 상호 작용 추론 과제를 해결하는 데 효과적입니다. 이 에이전트에서 SWIFT 모듈은 압축된 Encoder-Decoder 언어 모델을 구성하며, 이 모델은 인간이 주석을 단 데이터 세트를 사용하여 Fine-tuning됩니다.
인간이 주석을 달은 데이터 세트를 활용하여 에이전트를 미세 조정하는 것은 다양한 애플리케이션 시나리오에서 사용할 수 있는 다용도 접근 방식입니다. 이 접근 방식에서 연구자들은 먼저 주석 작업을 설계한 다음 작업자를 모집하여 작업을 완료합니다. 예를 들어, CoH [84]에서 저자들은 인간의 가치와 선호도에 따라 LLM을 조정하는 것을 목표로 합니다. 인간 피드백을 단순하고 상징적인 방식으로 활용하는 다른 모델과는 달리, 이 방법은 인간 피드백을 자연어 형태의 상세한 비교 정보로 변환합니다. 이러한 자연어 데이터 세트를 기반으로 LLM을 직접 미세 조정합니다. RET-LLM [42]에서는 자연어를 구조화된 메모리 정보로 더 잘 변환하기 위해 저자들은 각 샘플이 "트리플-자연어" 쌍인 사람이 구축한 데이터 세트를 기반으로 LLM을 미세 조정합니다. WebShop [85]에서는 저자들이 amazon.com에서 실제 제품 118만 개를 수집하여 여러 가지 인간의 쇼핑 시나리오를 세심하게 설계한 시뮬레이션 전자상거래 웹사이트에 올렸습니다. 이 웹사이트를 기반으로 저자들은 13명의 작업자를 모집하여 실제 인간 행동 데이터 세트를 수집했습니다. 마지막으로 휴리스틱 규칙, 모방 학습 및 강화 학습을 기반으로 한 세 가지 방법이 이 데이터 세트를 기반으로 학습되었습니다. 저자들은 LLM 기반 에이전트를 미세 조정하지는 않았지만, 이 논문에서 제안한 데이터 세트가 웹 쇼핑 분야에서 에이전트의 역량을 향상시킬 수 있는 엄청난 잠재력을 가지고 있다고 생각합니다. EduChat [86]에서 저자들은 광범위한 질문 답변, 에세이 평가, 소크라테스식 교육, 정서적 지원 등 LLM의 교육 기능을 향상시키는 것을 목표로 합니다. 이들은 다양한 교육 시나리오와 과제를 다루는 인간이 주석을 단 데이터 세트를 기반으로 LLM을 미세 조정합니다. 이러한 데이터 세트는 심리학 전문가와 일선 교사가 수동으로 평가하고 큐레이션합니다. SWIFTSAGE [87]는 인간 인지의 이중 과정 이론 [88]의 영향을 받은 에이전트로, 복잡한 상호 작용 추론 과제를 해결하는 데 효과적입니다. 이 에이전트에서 SWIFT 모듈은 압축된 인코더-디코더 언어 모델을 구성하며, 이 모델은 인간이 주석을 단 데이터 세트를 사용하여 미세 조정됩니다.