DatasetTo comprehensively understand how LLMs work with different abilities, we employ four different kinds of tasks including MGSM Shi et al. (2022) for reasoning task, XQuAD Artetxe et al. (2020) for NLU task, XLSum Hasan et al. (2021) for NLG task, and X-CSQA Lin et al. (2021) for knowledge question answering task. For XL-Sum, we randomly sample \(500\) data points from the whole test set for each language, while for other tasks, we employ the whole test set.
데이터 세트LLM이 다양한 능력으로 어떻게 작동하는지 종합적으로 이해하기 위해 추론 작업에는 MGSM Shi et al. (2022), NLU 작업에는 XQuAD Artetxe et al. (2020), NLG 작업에는 XLSum Hasan et al. (2021), 지식 question answering 작업에는 X-CSQA Lin et al. (2021) 등 네 가지 종류의 작업을 사용합니다. XL-Sum의 경우, 각 언어에 대해 전체 테스트 세트에서 500 데이터 포인트를 무작위로 샘플링하고, 다른 작업의 경우 전체 테스트 세트를 사용합니다.
데이터 세트LLM이 다양한 능력으로 어떻게 작동하는지 종합적으로 이해하기 위해 추론 작업에는 MGSM Shi et al. (2022), NLU 작업에는 XQuAD Artetxe et al. (2020), NLG 작업에는 XLSum Hasan et al. (2021), 지식 질문 답변 작업에는 X-CSQA Lin et al. (2021) 등 네 가지 종류의 작업을 사용합니다. XL-Sum의 경우, 각 언어에 대해 전체 테스트 세트에서 \(500\) 데이터 포인트를 무작위로 샘플링하고, 다른 작업의 경우 전체 테스트 세트를 사용합니다.