\(\bullet\)_BIG-bench_[70] is a collaborative benchmark intended to probe existing LLMs from various aspects. It comprises 204 tasks that encompass a broad range of topics, including linguistics, childhood development, mathematics, commonsense reasoning, biology, physics, social bias, software development, and so on. By scaling the model size, LLMs can even outperform the average human performance under the few-shot setting on 65% of tasks in BIG-bench [56]. Considering the high evaluation cost of the entire benchmark, a lightweight benchmark BIG-bench-Lite has been proposed, which contains 24 small yet diverse and challenging tasks from BIG-bench. Additionally, the BIG-bench hard (BBH) benchmark [365] has been proposed to concentrate on investigating the currently unsolvable tasks of LLMs by selecting the challenging tasks in which LLMs exhibit inferior performance compared to humans. Since BBH becomes more difficult, small models mostly achieve performance close to random. As a comparison, CoT prompting can elicit the abilities of LLMs to perform step-by-step reasoning for enhancing the performance, even exceeding the average human performance in BBH.
\(\bullet\)_BIG-bench_[70]는 다양한 측면에서 기존 LLM을 조사하기 위한 협업 benchmark입니다. 언어학, 아동 발달, 수학, commonsense reasoning, 생물학, 물리학, social bias, 소프트웨어 개발 등 광범위한 주제를 아우르는 204개의 과제로 구성되어 있습니다. 모델 크기를 확장함으로써 LLM은 BIG-bench [56]의 65%에 달하는 과제에서 few-shot 설정에서 평균적인 인간의 성능을 능가할 수 있습니다. 전체 benchmark의 높은 평가 비용을 고려하여, 경량 benchmark인 BIG-bench-Lite가 제안되었는데, 이 benchmark에는 BIG-bench의 작지만 다양하고 도전적인 24개의 소규모 과제가 포함되어 있습니다. 또한, LLM이 인간에 비해 성능이 떨어지는 도전 과제를 선별하여 현재 해결할 수 없는 과제를 집중적으로 조사하는 것을 목표로 하는 BIG-bench hard(BBH) benchmark [365]가 제안되었습니다. BBH는 더 어려워지기 때문에 소형 모델은 대부분 무작위에 가까운 성능을 달성합니다. 이와 달리 CoT prompting은 단계별 추론을 수행하여 성능을 향상시키는 LLM의 능력을 이끌어내어 BBH에서 평균적인 인간 성능을 능가할 수 있습니다.
\(\bullet\)_BIG-bench_[70]는 다양한 측면에서 기존 LLM을 조사하기 위한 협업 벤치마크입니다. 언어학, 아동 발달, 수학, 상식 추론, 생물학, 물리학, 사회적 편견, 소프트웨어 개발 등 광범위한 주제를 아우르는 204개의 과제로 구성되어 있습니다. 모델 크기를 확장함으로써 LLM은 BIG-bench [56]의 65%에 달하는 과제에서 몇 번의 샷 설정에서 평균적인 인간의 성능을 능가할 수 있습니다. 전체 벤치마크의 높은 평가 비용을 고려하여, 경량 벤치마크인 BIG-bench-Lite가 제안되었는데, 이 벤치마크에는 BIG-bench의 작지만 다양하고 도전적인 24개의 소규모 과제가 포함되어 있습니다. 또한, LLM이 인간에 비해 성능이 떨어지는 도전 과제를 선별하여 현재 해결할 수 없는 과제를 집중적으로 조사하는 것을 목표로 하는 BIG-bench hard(BBH) 벤치마크 [365]가 제안되었습니다. BBH는 더 어려워지기 때문에 소형 모델은 대부분 무작위에 가까운 성능을 달성합니다. 이와 달리 CoT 프롬프트는 단계별 추론을 수행하여 성능을 향상시키는 LLM의 능력을 이끌어내어 BBH에서 평균적인 인간 성능을 능가할 수 있습니다.