* **TruthfulQA9**(Lin et al., 2022): A dataset utilized to measure the truthfulness of language models. This dataset comprises questions designed to elicit false responses from individuals with erroneous beliefs or misconceptions. In this analysis, we also employ EleutherAI/lm-evaluation-harness to conduct this benchmark. We conduct the benchmark using a 6-shot prompt. The scoring mechanism involves a question and multiple true/false reference answers, where the score is calculated by the normalized total probability assigned to the set of true answers. Footnote 9: [https://github.com/samazon-science/bold](https://github.com/samazon-science/bold)
* **ToxiGen**10 (Hartvigsen et al., 2022): The dataset we employed to detect the toxicity of language models. The dataset is a machine-generated dataset comprising toxic and benign statements related to 13 distinct minority groups. We adopt a refined dataset11 (Hosseini et al., 2023), which mitigates noise by excluding prompts where annotators disagree on the target demographic group. We take these statements as our prompts. We utilize vLLM to enhance efficiency. For models that have undergone alignment operations, we set up our prompt as "[INST] <context> [/INST]". We configure the model with a max_tokens setting of 512 and utilize nuclear sampling, setting the temperature to 0.1 and top_p to 0.9. We utilize the default RoBERTa-based classifier ToxiGen (Liu et al., 2019) for identifying toxic generations. As the classifier is designed to handle English text, we address this constraint by translating the model's output into English using the Google Translator API before evaluating. Footnote 10: [https://github.com/amazon-science/bold](https://github.com/amazon-science/bold)
* **Bold12**(Dhamala et al., 2021): The dataset we utilize for bias analysis. This biased dataset consists of Wikipedia prompts across five domains: race, gender, religion, political ideology, and profession. We also utilize vLLM to enhance efficiency.
* **TruthfulQA9**(Lin et al., 2022): 언어 모델의 진실성을 측정하는 데 사용되는 데이터 세트입니다. 이 데이터 세트는 잘못된 신념이나 오해를 가진 사람들이 거짓 답변을 이끌어내도록 설계된 질문으로 구성됩니다. 이 분석에서는 이 벤치마크를 수행하기 위해 EleutherAI/lm-evaluation-harness를 사용합니다. 6-shot prompt를 사용하여 벤치마크를 수행합니다. 채점 메커니즘은 질문과 여러 개의 참/거짓 참조 답변으로 구성되며, 참 답변 집합에 할당된 정규화된 총 확률에 의해 점수가 계산됩니다. 각주 9: [https://github.com/samazon-science/bold](https://github.com/samazon-science/bold)
* **ToxiGen**10 (Hartvigsen et al., 2022): 언어 모델의 독성을 탐지하는 데 사용한 데이터 세트입니다. 이 데이터 세트는 13개의 소수 집단과 관련된 독성 및 무독성 진술로 구성된 기계 생성 데이터 세트입니다. 우리는 주의 깊은 데이터 세트11(호세이니 등, 2023)을 채택하여 주관자가 대상 인구 집단에 대해 동의하지 않는 프롬프트를 제외하여 노이즈를 완화합니다. 우리는 이러한 진술을 프롬프트로 사용합니다. 효율성을 높이기 위해 vLLM을 활용합니다. alignment 작업을 거친 모델의 경우 "[INST] <context> [/INST]"로 프롬프트를 설정합니다. 우리는 모델을 max_tokens 설정 512로 구성하고 nuclear sampling을 활용하여 온도를 0.1로 설정하고 top_p를 0.9로 설정합니다. 우리는 독성 생성을 식별하기 위해 기본 RoBERTa 기반 분류기 ToxiGen (Liu et al., 2019)을 사용합니다. 분류기가 영어 텍스트를 처리하도록 설계되었기 때문에, 평가하기 전에 Google Translator API를 사용하여 모델의 출력을 영어로 번역하여 이 제약을 해결합니다. 각주 10: [https://github.com/amazon-science/bold](https://github.com/amazon-science/bold)
* **Bold12**(Dhamala et al., 2021): 편향 분석에 사용하는 데이터 세트입니다. 이 편향된 데이터 세트는 인종, 성별, 종교, 정치 이념 및 직업의 다섯 가지 도메인에 걸친 Wikipedia 프롬프트로 구성됩니다. 우리는 또한 효율성을 높이기 위해 vLLM을 활용합니다.
* **TruthfulQA9**(Lin et al., 2022): 언어 모델의 진실성을 측정하는 데 사용되는 데이터 세트입니다. 이 데이터 세트는 잘못된 신념이나 오해를 가진 사람들이 거짓 답변을 이끌어내도록 설계된 질문으로 구성됩니다. 이 분석에서는 이 벤치마크를 수행하기 위해 EleutherAI/lm-evaluation-harness를 사용합니다. 6샷 프롬프트를 사용하여 벤치마크를 수행합니다. 채점 메커니즘은 질문과 여러 개의 참/거짓 참조 답변으로 구성되며, 참 답변 집합에 할당된 정규화된 총 확률에 의해 점수가 계산됩니다. 각주 9: [https://github.com/samazon-science/bold](https://github.com/samazon-science/bold)* **ToxiGen**10 (Hartvigsen et al., 2022): 언어 모델의 독성을 탐지하는 데 사용한 데이터 세트입니다. 이 데이터 세트는 13개의 소수 집단과 관련된 독성 및 무독성 진술로 구성된 기계 생성 데이터 세트입니다. 우리는 주의 깊은 데이터 세트11(호세이니 등, 2023)을 채택하여 주관자가 대상 인구 집단에 대해 동의하지 않는 프롬프트를 제외하여 노이즈를 완화합니다. 우리는 이러한 진술을 프롬프트로 사용합니다. 효율성을 높이기 위해 vLLM을 활용합니다. 정렬 작업을 거친 모델의 경우 "