\(\bullet\)_Language generation_. As discussed before, for language generation, we consider evaluating three kinds of tasks, _i.e.,_ language modeling, conditional text generation, and code synthesis. Specially, we select four commonly-used datasets, namely LAMBADA [233] (language modeling), WMT'22 [545] (machine translation), XSum [549] (text summarization), and HumanEval [105] (code synthesis) for evaluation. In WMT'22, we construct a new evaluation set by selecting 1000 examples for each language pair from the original large-scale test set to examine the average performance of LLMs in machine translation. We evaluate the zero-shot performance of LLMs on these datasets, and compute the _accuracy_ of predicting words for LAMBADA, _BLEU-4_ for WMT'22, _ROUGE-L_ for XSum, and _pass_\(@10\) for HumanEval.
\(\bullet\)_Language generation_. 앞서 설명한 바와 같이 언어 생성의 경우 언어 모델링, 조건부 텍스트 생성, 코드 합성 등 세 가지 종류의 작업을 평가하는 것을 고려합니다. 특히 일반적으로 사용되는 데이터 세트 4개, 즉 LAMBADA[233](language modeling), WMT'22[545](machine translation), XSum[549](text summarization), HumanEval[105](code synthesis)를 평가를 위해 선택합니다. WMT'22에서는 기계 번역에서 LLM의 평균 성능을 검토하기 위해 원래의 대규모 테스트 세트에서 각 언어 쌍에 대해 1000개의 예제를 선택하여 새로운 평가 세트를 구성합니다. 이러한 데이터 세트에 대해 LLM의 zero-shot 성능을 평가하고, LAMBADA의 경우 단어 예측 _accuracy_, WMT'22의 경우 _BLEU-4_, XSum의 경우 _ROUGE-L_, HumanEval의 경우 _pass_\(@10\)를 계산합니다.
\(\bullet\)_언어 생성_. 앞서 설명한 바와 같이 언어 생성의 경우 언어 모델링, 조건부 텍스트 생성, 코드 합성 등 세 가지 종류의 작업을 평가하는 것을 고려합니다. 특히 일반적으로 사용되는 데이터 세트 4개, 즉 람바다[233](언어 모델링), WMT'22[545](기계 번역), XSum[549](텍스트 요약), 휴먼이발[105](코드 합성)를 평가를 위해 선택합니다. WMT'22에서는 기계 번역에서 LLM의 평균 성능을 검토하기 위해 원래의 대규모 테스트 세트에서 각 언어 쌍에 대해 1000개의 예제를 선택하여 새로운 평가 세트를 구성합니다. 이러한 데이터 세트에 대해 LLM의 제로 샷 성능을 평가하고, 람바다의 경우 단어 예측 _정확도_, WMT'22의 경우 _BLEU-4_, XSum의 경우 _ROUGE-L_, 휴먼이발의 경우 _pass_\(@10\)를 계산합니다.