\(\bullet\)_LLM based interactive approaches._ Most existing approaches train LLMs in isolation, where LLMs are not present in actual environments to improve themselves through external feedback signals. As a comparison, humans learn social norms and values from interactions with others in social environments [387]. To mimic such a learning approach, Stable Alignment [179] builds a simulated interaction environment consisting of a number of LLM agents, where AI agents keep interacting with and each other, receiving feedback on improvement. Once a central agent receives an instruction, it produces a response and shares it with nearby agents. These critic agents generate feedback comprising ratings about the response and revision suggestions. Then the central agent would revise the original response following these suggestions. Such an alignment approach can be also extended to real-world environment with humans.
\(\bullet\)_LLM 기반 대화형 접근 방식._ 대부분의 기존 접근 방식은 외부 피드백 신호를 통해 스스로를 개선하기 위해 실제 환경에 존재하지 않는 LLM을 개별적으로 훈련합니다. 이에 비해 인간은 사회적 환경에서 다른 사람과의 상호작용을 통해 사회적 규범과 가치를 학습합니다[387]. 이러한 학습 접근 방식을 모방하기 위해 Stable Alignment [179]는 여러 LLM 에이전트로 구성된 시뮬레이션 상호 작용 환경을 구축하여 AI 에이전트가 서로 상호 작용하고 개선에 대한 피드백을 받습니다. 중앙 에이전트가 Instruction을 받으면 응답을 생성하여 주변 에이전트와 공유합니다. 이러한 비평가 에이전트는 응답에 대한 평가와 수정 제안으로 구성된 피드백을 생성합니다. 그런 다음 중앙 에이전트는 이러한 제안에 따라 원래 응답을 수정합니다. 이러한 정렬 접근 방식은 인간이 있는 실제 환경으로도 확장할 수 있습니다.
\(\bullet\)_LLM 기반 대화형 접근 방식._ 대부분의 기존 접근 방식은 외부 피드백 신호를 통해 스스로를 개선하기 위해 실제 환경에 존재하지 않는 LLM을 개별적으로 훈련합니다. 이에 비해 인간은 사회적 환경에서 다른 사람과의 상호작용을 통해 사회적 규범과 가치를 학습합니다[387]. 이러한 학습 접근 방식을 모방하기 위해 Stable Alignment [179]는 여러 LLM 에이전트로 구성된 시뮬레이션 상호 작용 환경을 구축하여 AI 에이전트가 서로 상호 작용하고 개선에 대한 피드백을 받습니다. 중앙 에이전트가 명령을 받으면 응답을 생성하여 주변 에이전트와 공유합니다. 이러한 비평가 에이전트는 응답에 대한 평가와 수정 제안으로 구성된 피드백을 생성합니다. 그런 다음 중앙 에이전트는 이러한 제안에 따라 원래 응답을 수정합니다. 이러한 정렬 접근 방식은 인간이 있는 실제 환경으로도 확장할 수 있습니다.