Human alignment has been discussed a lot for traditional LLMs. In the field of LLM-based autonomous agent, especially when the agents are leveraged for simulation, we believe this concept should be discussed more in depth. In order to better serve human-beings, traditional LLMs are usually fine-tuned to be aligned with correct human values, for example, the agent should not plan to make a bomb for avening society. However, when the agents are leveraged for real-world simulation, an ideal simulator should be able to honestly depict diverse human traits, including the ones with incorrect values. Actually, simulating the human negative aspects can be even more important, since an important goal of simulation is to discover and solve problems, and without negative aspects means no problem to be solved. For example, to simulate the real-world society, we may have to allow the agent to plan for making a bomb, and observe how it will act to implement the plan as well as the influence of its behaviors. Based on these observations, people can make better actions to stop similar behaviors in real-world society. Inspired by the above case, maybe an important problem for agent-based simulation is how to conduct generalized human alignment, that is, for different purposes and applications, the agent should be able to align with diverse human values. However, existing powerful LLMs including ChatGPT and GPT-4 are mostly aligned with unified human values. Thus, an interesting direction is how to "realign" these models by designing proper prompting strategies.
인간 alignment는 기존 LLM에 대해 많이 논의되어 왔습니다. 특히 에이전트가 시뮬레이션에 활용되는 LLM 기반 자율 에이전트 분야에서는 이 개념을 더 깊이 논의해야 한다고 생각합니다. 인간에게 더 나은 서비스를 제공하기 위해 기존 LLM은 일반적으로 사회 복지를 위해 폭탄을 만들 계획을 세워서는 안 된다는 등 올바른 인간의 가치관에 맞춰 Fine-tuning됩니다. 그러나 에이전트가 실제 시뮬레이션에 활용되는 경우 이상적인 시뮬레이션은 잘못된 가치관을 포함하여 다양한 인간의 특성을 정직하게 묘사할 수 있어야 합니다. 실제로 시뮬레이션의 중요한 목표는 문제를 발견하고 해결하는 것이며, 부정적인 측면이 없다면 해결해야 할 문제가 없다는 것을 의미하기 때문에 인간의 부정적인 측면을 시뮬레이션하는 것이 더욱 중요할 수 있습니다. 예를 들어, 실제 사회를 시뮬레이션하기 위해 에이전트가 폭탄을 만들 계획을 세우도록 허용하고 계획을 실행하기 위해 어떻게 행동하는지, 그리고 그 행동이 미치는 영향을 관찰해야 할 수도 있습니다. 이러한 관찰을 바탕으로 사람들은 실제 사회에서 유사한 행동을 막기 위해 더 나은 행동을 할 수 있습니다. 위의 사례에서 영감을 받아 에이전트 기반 시뮬레이션의 중요한 문제는 일반화된 인간 alignment, 즉 다양한 목적과 적용에 따라 에이전트가 다양한 인간 가치관에 맞춰 조정할 수 있는 방법일 것입니다. 그러나 ChatGPT 및 GPT-4를 포함한 기존의 강력한 LLM은 대부분 통일된 인간의 가치관에 맞춰져 있습니다. 따라서 흥미로운 방향은 적절한 프롬프트 전략을 설계하여 이러한 모델을 "재정렬"하는 방법입니다.
인간 정렬은 기존 LLM에 대해 많이 논의되어 왔습니다. 특히 에이전트가 시뮬레이션에 활용되는 LLM 기반 자율 에이전트 분야에서는 이 개념을 더 깊이 논의해야 한다고 생각합니다. 인간에게 더 나은 서비스를 제공하기 위해 기존 LLM은 일반적으로 사회 복지를 위해 폭탄을 만들 계획을 세워서는 안 된다는 등 올바른 인간의 가치관에 맞춰 미세 조정됩니다. 그러나 에이전트가 실제 시뮬레이션에 활용되는 경우 이상적인 시뮬레이션은 잘못된 가치관을 포함하여 다양한 인간의 특성을 정직하게 묘사할 수 있어야 합니다. 실제로 시뮬레이션의 중요한 목표는 문제를 발견하고 해결하는 것이며, 부정적인 측면이 없다면 해결해야 할 문제가 없다는 것을 의미하기 때문에 인간의 부정적인 측면을 시뮬레이션하는 것이 더욱 중요할 수 있습니다. 예를 들어, 실제 사회를 시뮬레이션하기 위해 에이전트가 폭탄을 만들 계획을 세우도록 허용하고 계획을 실행하기 위해 어떻게 행동하는지, 그리고 그 행동이 미치는 영향을 관찰해야 할 수도 있습니다. 이러한 관찰을 바탕으로 사람들은 실제 사회에서 유사한 행동을 막기 위해 더 나은 행동을 할 수 있습니다. 위의 사례에서 영감을 받아 에이전트 기반 시뮬레이션의 중요한 문제는 일반화된 인간 정렬, 즉 다양한 목적과 적용에 따라 에이전트가 다양한 인간 가치관에 맞춰 조정할 수 있는 방법일 것입니다. 그러나 ChatGPT 및 GPT-4를 포함한 기존의 강력한 LLM은 대부분 통일된 인간의 가치관에 맞춰져 있습니다. 따라서 흥미로운 방향은 적절한 프롬프트 전략을 설계하여 이러한 모델을 "재정렬"하는 방법입니다.