\(\bullet\)_All the comparison models perform not well on very difficult reasoning tasks._ On MATH and HotpotQA, all models (including ChatGPT) perform not well. The two tasks are very difficult to solve, requiring accurate understanding of complex mathematical knowledge and performing multi-hop reasoning across documents, respectively. Further, these models also have a relatively weak performance on machine translation task (WMT). A possible reason is that WMT also contains many evaluation examples in minor languages, which might not be well covered in the pre-training data of these LLMs.
\(\bullet\)_모든 비교 모델은 매우 어려운 reasoning 작업에서 성능이 좋지 않습니다._ MATH와 HotpotQA에서는 모든 모델(ChatGPT 포함)이 성능이 좋지 않습니다. 이 두 과제는 각각 복잡한 수학적 지식을 정확하게 이해하고 문서 간에 multi-hop reasoning을 수행해야 하는 매우 어려운 과제입니다. 또한 이러한 모델은 machine translation 작업(WMT)에서도 상대적으로 성능이 약합니다. 한 가지 가능한 이유는 WMT에도 이러한 LLM의 사전 학습 데이터에서 잘 다루지 못하는 소수 언어로 된 많은 평가 예가 포함되어 있기 때문일 수 있습니다.
\(\bullet\)_모든 비교 모델은 매우 어려운 추론 작업에서 성능이 좋지 않습니다._ MATH와 HotpotQA에서는 모든 모델(ChatGPT 포함)이 성능이 좋지 않습니다. 이 두 과제는 각각 복잡한 수학적 지식을 정확하게 이해하고 문서 간에 다중 홉 추론을 수행해야 하는 매우 어려운 과제입니다. 또한 이러한 모델은 기계 번역 작업(WMT)에서도 상대적으로 성능이 약합니다. 한 가지 가능한 이유는 WMT에도 이러한 LLM의 사전 학습 데이터에서 잘 다루지 못하는 소수 언어로 된 많은 평가 예가 포함되어 있기 때문일 수 있습니다.