However, benchmarks have limitations, such as being misleading and motivating narrow research goals [162]. In particular, they risk becoming saturated after a period of time if models can overfit to them [155]. Some benchmarks have also been criticized for low ecological validity, as their component tests do not closely approximate real-world data [163, 164]. Therefore, constructing more ecologically valid benchmarks that generalize to real-world scenarios is an active area of research [19]. Notably, several projects have sought to rethink benchmarking in order to make it more challenging and valid, such as Dynabench [165], which uses human-and-model-in-the-loop evaluation. We aim to take these limitations and concerns into account as we develop our benchmark.
그러나 벤치마크에는 오해를 불러일으키고 좁은 연구 목표를 유도하는 등의 한계가 있습니다 [162]. 특히, 모델이 벤치마크에 과적합할 수 있는 경우 일정 기간 후 포화 상태에 이를 위험이 있습니다 [155]. 일부 벤치마크는 구성 요소 테스트가 실제 데이터를 정확히 반영하지 못해 생태학적 타당성이 낮다는 비판을 받기도 했습니다 [163, 164]. 따라서 실제 시나리오에 일반화할 수 있는 더 생태학적으로 타당한 벤치마크를 구축하는 것이 활발한 연구 분야입니다 [19]. 특히, Dynabench [165]와 같이 인간과 모델이 함께 평가하는 방식을 사용하는 프로젝트들은 벤치마크를 더 도전적이고 타당하게 만들기 위해 재고하려는 노력을 기울이고 있습니다. 우리는 벤치마크를 개발하면서 이러한 한계와 우려를 고려하고자 합니다.
그러나 벤치마크에는 오해의 소지가 있고 협소한 연구 목표를 유발하는 등의 한계가 있습니다[162]. 특히, 모델이 벤치마크에 과적합할 수 있는 경우 일정 기간이 지나면 포화 상태에 이를 위험이 있습니다[155]. 일부 벤치마크는 구성 요소 테스트가 실제 데이터에 근접하지 않기 때문에 생태적 타당성이 낮다는 비판을 받기도 했습니다[163, 164]. 따라서 실제 시나리오로 일반화할 수 있는 생태학적으로 더 타당한 벤치마크를 구축하는 것이 활발한 연구 분야입니다[19]. 특히, 인간과 모델을 연동한 평가를 사용하는 Dynabench[165]와 같이 벤치마킹을 더욱 도전적이고 유효하게 만들기 위해 벤치마킹을 재고하는 여러 프로젝트가 진행되고 있습니다. 저희는 이러한 한계와 우려를 벤치마크를 개발하는 과정에서 고려하고자 합니다.