* **MMLU: We use the official MMLU** **(**Hendrycks et al.**,** 2021**)** **evaluation script and prompts available at [https://github.com/hendrycks/test](https://github.com/hendrycks/test), with modifications to allow for batch processing. We evaluate using 0 few-shot examples, following the original setup of MMLU. We report average accuracy across test examples.**
* **ToxiGen: We follow the setup in** **Touvron et al.** **(**2023b**)****, but use the original set of prompts from** **Hartvigsen et al.** **(**2022**)****, which are designed to elicit toxic generations for certain groups. We take only the prompts designed to produce toxic language ('hateful' prompts) and use 500 prompts per group to reduce evaluation costs. For base language models, we pass in the original ToxiGen prompts unchanged and greedily decode up to the first new line (or a maximum of 512 tokens). For instruction-tuned models, we place the prompt in the corresponding template, and ask the model to complete the prompt, until the model generates a stop token (or a maximum of 512 tokens). We pass the generated text into a reborta-large model trained to detect toxic content finetuned as part of** **Hartvigsen et al.** **(**2022**)****28**. We then report the percentage of generations deemed toxic by the classifier.** Footnote 28: [https://huggingface.co/tomh/toxic_roberta](https://huggingface.co/tomh/toxic_roberta)**
* **TruthfulQA: Following** **Touvron et al.** **(**2023b**)****, we mainly use the generation setting of TruthfulQA** **(**Lin et al.**,** 2022**)****. The TruthfulQA dataset contains 818 questions, which are used to prompt the tested model to generate answers. We use the default QA prompt format with 6 in-context QA examples. We follow the official script in their official** **implementation29** **to do greedy decoding and answer postprocessing. We train two LLaMA 2-based classifiers for judging the truthfulness and informativeness of the model response, due to the deprecation of GPT-3 making exact replication of the original TruthfulQA evaluation infeasible. We find that the LLaMA 2 judges are generally able to match the performance of the original GPT-3-based judges used by** **Lin et al.** **(**2022**)****. We report the rate of the responses being truthful and informative (% Informative and Truthful) following** **Touvron et al.** **(**2023b**)****. We only report the % Informative and Truthful as our primary metric.** Footnote 29: [https://github.com/sylinrl/TruthfulQA/](https://github.com/sylinrl/TruthfulQA/)**
* **AlpacaEval: We use the package provided by** **Li et al.** **(**2023**)****, following the default setup which asks the evaluated model to generate responses for 805 prompts and employ GPT-4 to compare the response with Davinci-003. We employ the "alpaca_eval_gpt4" annotator. We allow the evaluated model to generate up to 2048 tokens, without specifying special stop sequences.
* **MMLU: 공식 MMLU** **(**Hendrycks et al.**,** 2021**)** **평가 스크립트 및 프롬프트를 [https://github.com/hendrycks/test](https://github.com/hendrycks/test)에서 사용할 수 있으며, 일괄 처리를 허용하도록 수정했습니다. MMLU의 원래 설정에 따라 0개의 few-shot 예제를 사용하여 평가합니다. 테스트 예제에 대한 평균 정확도를 보고합니다.*
* **ToxiGen: Touvron et al.**의 설정을 따릅니다. **(**2023b**)****를 따르지만, 특정 그룹에 대한 독성 생성을 이끌어내도록 설계된** **Hartvigsen et al.**의 원래 프롬프트 세트를 사용합니다. **(**2022**)****의 원래 프롬프트 세트를 사용합니다. 독성 언어를 생성하도록 설계된 프롬프트('혐오감 있는' 프롬프트)만 사용하고 그룹당 500개의 프롬프트를 사용하여 평가 비용을 줄입니다. 기본 언어 모델의 경우 원래의 ToxiGen 프롬프트를 변경하지 않고 전달하고 첫 번째 새 줄까지(또는 최대 512 토큰) 탐욕스럽게 디코딩합니다. Instruction-tuned 모델의 경우 프롬프트를 해당 템플릿에 배치하고 모델이 중지 토큰(또는 최대 512 토큰)을 생성할 때까지 프롬프트를 완료하도록 요청합니다. 생성된 텍스트를 **Hartvigsen et al.**의 일부로서 미세 조정된 독성 콘텐츠 감지용으로 훈련된 reborta-large 모델에 전달합니다. **(**2022**)****28**. 그런 다음 분류기가 독성이 있다고 판단한 생성물의 비율을 보고합니다. 각주 28: [https://huggingface.co/tomh/toxic_roberta](https://huggingface.co/tomh/toxic_roberta)***
* **TruthfulQA: Touvron et al.**에 따라 **(**2023b**)****를 주로 사용합니다. 주로 TruthfulQA의 생성 설정을 사용합니다. **(**Lin et al.**,** 2022**)****. TruthfulQA 데이터 세트에는 818개의 질문이 포함되어 있으며, 이 질문은 테스트 모델이 답변을 생성하도록 프롬프트하는 데 사용됩니다. 6개의 In-Context QA 예제가 포함된 기본 QA 프롬프트 형식을 사용합니다. 공식** **구현29**의 공식 스크립트를 따라 탐욕스러운 디코딩과 답변 후처리를 수행합니다. GPT-3의 사용 중단으로 인해 원래 TruthfulQA 평가를 정확하게 복제하는 것이 불가능해진 만큼 모델 응답의 진실성과 유익성을 판단하기 위해 LLaMA 2 기반 분류기 두 개를 훈련합니다. LLaMA 2 판사는 일반적으로 **Lin et al.**에서 사용한 원래 GPT-3 기반 판사의 성능과 일치할 수 있습니다. **(**2022**)****. Touvron et al.**에 따라 응답이 진실하고 유익한 비율(% 유익하고 진실한)을 보고합니다. **(**2023b**)****. 주요 지표로는 % 유익하고 진실한 것만 보고합니다. 각주 29: [https://github.com/sylinrl/TruthfulQA/](https://github.com/sylinrl/TruthfulQA/)***
* **AlpacaEval: 평가된 모델이 805개의 프롬프트에 대한 응답을 생성하고 GPT-4를 사용하여 응답을 Davinci-003과 비교하도록 요청하는 기본 설정에 따라** **Li et al.** **(**2023**)****에서 제공한 패키지를 사용합니다. "alpaca_eval_gpt4" 주석자를 사용합니다. 특별한 중지 시퀀스를 지정하지 않고 평가 대상 모델이 최대 2048 토큰을 생성하도록 허용합니다.
* **MMLU: 공식 MMLU** **(**Hendrycks et al.**,** 2021**)** **평가 스크립트 및 프롬프트를 [https://github.com/hendrycks/test](https://github.com/hendrycks/test)에서 사용할 수 있으며, 일괄 처리를 허용하도록 수정했습니다. MMLU의 원래 설정에 따라 0개의 몇 가지 예제를 사용하여 평가합니다. 테스트 예제에 대한 평균 정확도를 보고합니다.* **ToxiGen: Touvron et al.**의 설정을 따릅니다. **(**2023b**)****를 따르지만, 특정 그룹에 대한 독성 생성을 이끌어내도록 설계된** **Hartvigsen et al.**의 원래 프롬프트 세트를 사용합니다. **(**2022**)****의 원래 프롬프트 세트를 사용합니다. 독성 언어를 생성하도록 설계된 프롬프트('혐오감 있는' 프롬프트)만 사용하고 그룹당 500개의 프롬프트를 사용하여 평가 비용을 줄입니다. 기본 언어 모델의 경우 원래의 ToxiGen 프롬프트를 변경하지 않고 전달하고 첫 번째 새 줄까지(또는 최대 512 토큰) 탐욕스럽게 디코딩합니다. 지시어 튜닝된 모델의 경우 프롬프트를 해당 템플릿에 배치하고 모델이 중지 토큰(또는 최대 512 토큰)을 생성할 때까지 프롬프트를 완료하도록 요청합니다. 생성된 텍스트를 **Hartvigsen et al.**의 일부로서 미세 조정된 독성 콘텐츠 감지용으로 훈련된 reborta-large 모델에 전달합니다. **(**2022**)****28**. 그런 다음 분류기가 독성이 있다고 판단한 생성물의 비율을 보고합니다. 각주 28: [https://huggingface.co/tomh/toxic_roberta](https://huggingface.co/tomh/toxic_roberta)*** **TruthfulQA: Touvron et al.**에 따라 **(**2023b**)****를 주로 사용합니다. 주로 TruthfulQA의 생성 설정을 사용합니다. **(**Lin et al.**,** 2022**)****. TruthfulQA 데이터 세트에는 818개의 질문이 포함되어 있으며, 이 질문은 테스트 모델이 답변을 생성하도록 프롬프트하는 데 사용됩니다. 6개의 컨텍스트 QA 예제가 포함된 기본 QA 프롬프트 형식을 사용합니다. 공식** **구현29**의 공식 스크립트를 따라 탐욕스러운 디코딩과 답변 후처리를 수행합니다. GPT-3의 사용 중단으로 인해 원래 TruthfulQA 평가를 정확하게 복제하는 것이 불가능해진 만큼 모델 응답의 진실성과 유익성을 판단하기 위해 LLaMA 2 기반 분류기 두 개를 훈련합니다. LLaMA 2 판사는 일반적으로 **Lin et al.**에서 사용한 원래 GPT-3 기반 판사의 성능과 일치할 수 있습니다. **(**2022**)****. Touvron et al.**에 따라 응답이 진실하고 유익한 비율(% 유익하고 진실한)을 보고합니다. **(**2023b**)****. 주요 지표로는 % 유익하고 진실한 것만 보고합니다. 각주 29: [https://github.com/sylinrl/TruthfulQA/](https://github.com/sylinrl/TruthfulQA/)*** **AlpacaEval: 평가된 모델이 805개의 프롬프트에 대한 응답을 생성하고 GPT-4를 사용하여 응답을 Davinci-003과 비교하도록 요청하는 기본 설정에 따라** **Li et al.** **(**2023**)****에서 제공한 패키지를 사용합니다. "alpaca_eval_gpt4" 주석자를 사용합니다. 특별한 중지 시퀀스를 지정하지 않고 평가 대상 모델이 최대 2048 토큰을 생성하도록 허용합니다.