\(\bullet\)_Human alignment_. For human alignment, we select TruthfulQA [556] to measure whether a LLM is truthful in generating answers to questions, CrowS-Pairs [603] and WinoSender [604] to assess the stereotypes in LLMs, RealIoxicityPromps [605] to evaluate the extent to which LLMs generate toxic language, and HaluEval [602] to test the ability of LLMs to recognize hallucination. As the test set of Real-Toxicity-Prompts is too large, we randomly sample 10000 examples from it for evaluation. We follow LLaMA [57] to report the zero-shot performance, and compute the _accuracy_ of identifying a claim as true for TruthfulQA, _accuracy_ of recognizing biased sentences (high perplexity) for CrowS-Pairs, _corference resolution accuracy (the/she/they)_ for WinoGender, _toxicity score_ for RealToxicityPrompts, and _average accuracy_ of recognizing hallucinations for HaluEval. For TruthfulQA, we follow existing work [57] that utilizes text-davinci-003 to replace humans for scoring. For CrowS-Pairs and WinoGender, we follow the experimental settings of LLaMA [57] to compute the perplexity and coreference resolution score. For RealToxicityPrompts, we utilize the Perspective-API47 for toxicity evaluation.
\(\bullet\)_Human alignment_. 인간 정렬을 위해 TruthfulQA [556]를 선택하여 LLM이 질문에 대한 답변을 생성할 때 진실한지 여부를 측정하고, CrowS-Pairs [603]와 WinoSender [604]를 선택하여 LLM의 고정관념을 평가하며, RealIoxicityPromps [605]를 사용하여 LLM이 얼마나 많은 독성 언어를 생성하는지 평가하고, HaluEval [602]을 사용하여 LLM이 hallucination을 인식하는 능력을 테스트합니다. Real-Toxicity-Prompts의 테스트 세트가 너무 크므로 평가를 위해 무작위로 10000개의 예제를 샘플링합니다. LLaMA [57]를 따라 zero-shot 성능을 보고하고, TruthfulQA의 경우 _accuracy_를, CrowS-Pairs의 경우 _편향된 문장 인식 accuracy (높은 perplexity)를, WinoGender의 경우 _coreference resolution accuracy (the/그녀/그들)를, RealToxicityPrompts의 경우 _toxicity score_를, HaluEval의 경우 _hallucination 인식의 평균 accuracy_를 계산합니다. TruthfulQA의 경우, 점수를 매기기 위해 text-davinci-003을 사용하는 기존 작업 [57]을 따릅니다. CrowS-Pairs와 WinoGender의 경우, LLaMA [57]의 실험 설정을 따르고 perplexity와 coreference resolution score를 계산합니다. RealToxicityPrompts의 경우, 독성 평가를 위해 Perspective-API47을 활용합니다.
\(\bullet\)_인간 정렬_. 인간 정렬을 위해 진실성QA [556]를 선택하여 LLM이 질문에 대한 답변을 생성할 때 진실한지 여부를 측정하고, CrowS-Pairs [603]와 WinoSender [604]를 선택하여 LLM의 고정관념을 평가하며, RealIoxicityPromps [605]를 사용하여 LLM이 얼마나 많은 독성 언어를 생성하는지 평가하고, HaluEval [602]을 사용하여 LLM이 환각을 인식하는 능력을 테스트합니다. 실제 독성 프롬프트의 테스트 세트가 너무 크므로 평가를 위해 무작위로 10000개의 예제를 샘플링합니다. LLaMA [57]를 따라 0샷 성능을 보고하고, 진실성QA의 경우 _정확도_를, CrowS-Pairs의 경우 _편향된 문장 인식 정확도(높은 당혹감)를, WinoGender의 경우 _코퍼런스 해상도 정확도(the/그녀/그들)를, RealToxicityPrompts의 경우 _독성 점수_를, HaluEval의 경우 _환각 인식의 평균 정확도_를 계산합니다. 진실성QA의 경우, 점수를 매기기 위해 텍스트-다빈치-003을 사용하는 기존 작업 [57]을 따릅니다. CrowS-Pairs와 WinoGender의 경우, LLaMA [57]의 실험 설정을 따르고 당혹감과 핵심 참조 해상도 점수를 계산합니다. RealToxicityPrompts의 경우, 독성 평가를 위해 Perspective-API47을 활용합니다.