To evaluate this ability, existing studies consider multiple criteria for human alignment, such as helpfulness, honesty, and safety [368, 46, 170]. For helpfulness and honesty, adversarial question answering tasks (_e.g._, TruthfulQA [556]) can be utilized to examine LLM's ability in detecting possible falsehood in the text [36, 81]. Furthermore, harmlessness can be also evaluated by several existing benchmarks, _e.g._, CrowS-Pairs [603] and Winogender [604]. Despite the automatic evaluation with the above datasets, human evaluation is still a more direct way to effectively test the human alignment ability of LLMs. OpenAI invites many experts in domains related to AI risks to evaluate and improve the behaviors of GPT-4 when encountering risky contents [46]. In addition, for other aspects of human alignment (_e.g._, truthfulness), several studies propose to use specific instructions and devise annotation rules to guide the annotation process [81]. Empirical studies have revealed that these strategies can greatly improve the human alignment ability of LLMs [170]. For instance, after alignment tuning on data collected through interactions with experts, the incorrect behavior rate of GPT-4 can be largely reduced when it deals with sensitive or disallowed prompts. In addition, high-quality pre-training data can reduce the effort required for alignment [46]. For instance, Galactic is potentially more harmless due to the less biased contents in the scientific corpus [35].
이 능력을 평가하기 위해 기존 연구에서는 유용성, 정직성, 안전성 등 인간의 정렬을 위한 여러 가지 기준을 고려합니다[368, 46, 170]. 유용성과 정직성의 경우, 적대적 질문 답변 과제(_예: TruthfulQA [556])를 활용하여 텍스트에서 가능한 허구를 감지하는 LLM의 능력을 검사할 수 있습니다[36, 81]. 또한, 무해성은 기존 벤치마크(예: CrowS-Pairs [603] 및 Winogender [604])를 통해서도 평가할 수 있습니다. 위의 데이터 세트를 통한 자동 평가에도 불구하고, 인간 평가는 여전히 LLM의 인간 정렬 능력을 효과적으로 테스트할 수 있는 보다 직접적인 방법입니다. OpenAI는 AI 위험과 관련된 영역의 많은 전문가들을 초대하여 위험한 콘텐츠가 발생했을 때 GPT-4의 행동을 평가하고 개선합니다[46]. 또한, 진실성 등 인간 정렬의 다른 측면에 대해서는 특정 Instruction을 사용하고 주석 규칙을 고안하여 주석 프로세스를 안내할 것을 제안하는 여러 연구가 있습니다[81]. 실증 연구에 따르면 이러한 전략은 LLM의 인간 정렬 능력을 크게 향상시킬 수 있는 것으로 나타났습니다[170]. 예를 들어, 전문가와의 상호 작용을 통해 수집한 데이터에 대한 alignment tuning을 거친 후, GPT-4가 민감하거나 허용되지 않는 프롬프트를 처리할 때 잘못된 동작 비율을 크게 줄일 수 있습니다. 또한, 고품질의 pre-training 데이터는 정렬에 필요한 노력을 줄일 수 있습니다[46]. 예를 들어, Galactic은 과학 코퍼스의 편향성이 덜하기 때문에 잠재적으로 덜 해로울 수 있습니다[35].
이 능력을 평가하기 위해 기존 연구에서는 유용성, 정직성, 안전성 등 인간의 정렬을 위한 여러 가지 기준을 고려합니다[368, 46, 170]. 유용성과 정직성의 경우, 적대적 질문 답변 과제(_예: TruthfulQA [556])를 활용하여 텍스트에서 가능한 허구를 감지하는 LLM의 능력을 검사할 수 있습니다[36, 81]. 또한, 무해성은 기존 벤치마크(예: CrowS-Pairs [603] 및 Winogender [604])를 통해서도 평가할 수 있습니다. 위의 데이터 세트를 통한 자동 평가에도 불구하고, 인간 평가는 여전히 LLM의 인간 정렬 능력을 효과적으로 테스트할 수 있는 보다 직접적인 방법입니다. OpenAI는 AI 위험과 관련된 영역의 많은 전문가들을 초대하여 위험한 콘텐츠가 발생했을 때 GPT-4의 행동을 평가하고 개선합니다[46]. 또한, 진실성 등 인간 정렬의 다른 측면에 대해서는 특정 지침을 사용하고 주석 규칙을 고안하여 주석 프로세스를 안내할 것을 제안하는 여러 연구가 있습니다[81]. 실증 연구에 따르면 이러한 전략은 LLM의 인간 정렬 능력을 크게 향상시킬 수 있는 것으로 나타났습니다[170]. 예를 들어, 전문가와의 상호 작용을 통해 수집한 데이터에 대한 정렬 튜닝을 거친 후, GPT-4가 민감하거나 허용되지 않는 프롬프트를 처리할 때 잘못된 동작 비율을 크게 줄일 수 있습니다. 또한, 고품질의 사전 학습 데이터는 정렬에 필요한 노력을 줄일 수 있습니다[46]. 예를 들어, Galactic은 과학 코퍼스의 편향성이 덜하기 때문에 잠재적으로 덜 해로울 수 있습니다[35].