**Human Annotation**: This evaluation method involves human evaluators directly scoring or rankingthe outputs generated by various agents [22, 29, 105]. For example, in [20], the authors employ many annotators, and ask them to provide feedback on five key questions that directly associated with the agent capability. Similarly, [159] assess model effectiveness by having human participants rate the models on harmlessness, honesty, helpfulness, engagement, and unbiasedness, subsequently comparing these scores across different models. In [79], annotators are asked to determine whether the specifically designed models can significantly enhance the development of rules within online communities.
**Human Annotation**: 이 평가 방법에는 인간 평가자가 다양한 에이전트[22, 29, 105]에 의해 생성된 결과물에 직접 점수를 매기거나 순위를 매기는 방식이 포함됩니다. 예를 들어, [20]의 저자들은 많은 주석가를 고용하여 에이전트 역량과 직접적으로 연관된 5가지 핵심 질문에 대한 피드백을 제공하도록 요청합니다. 마찬가지로 [159]에서는 인간 참가자에게 모델의 무해성, 정직성, 유용성, 참여도, 편견 없는 성향에 대해 평가하도록 한 후, 이러한 점수를 여러 모델 간에 비교하여 모델의 효과를 평가합니다. [79]에서는 주석가에게 특별히 설계된 모델이 온라인 커뮤니티 내에서 규칙 개발을 크게 향상시킬 수 있는지 여부를 판단하도록 요청합니다.
**인간 주석**: 이 평가 방법에는 인간 평가자가 다양한 에이전트[22, 29, 105]에 의해 생성된 결과물에 직접 점수를 매기거나 순위를 매기는 방식이 포함됩니다. 예를 들어, [20]의 저자들은 많은 주석가를 고용하여 에이전트 역량과 직접적으로 연관된 5가지 핵심 질문에 대한 피드백을 제공하도록 요청합니다. 마찬가지로 [159]에서는 인간 참가자에게 모델의 무해성, 정직성, 유용성, 참여도, 편견 없는 성향에 대해 평가하도록 한 후, 이러한 점수를 여러 모델 간에 비교하여 모델의 효과를 평가합니다. [79]에서는 주석가에게 특별히 설계된 모델이 온라인 커뮤니티 내에서 규칙 개발을 크게 향상시킬 수 있는지 여부를 판단하도록 요청합니다.