We have conceptualized the grading system as a matter of (i) defining the levels at which aggregation needs to take place, and (ii) defining an aggregation function for each of those levels. At present, we have three levels (test items, tests, and the benchmark), each of which have their own aggregation function. The WG considered various proposals for how to address grading, as well as suitable aggregation functions at each level. We decided on the choices outlined below for v0.5 of the benchmark.
우리는 채점 시스템을 (i) 집계가 이루어져야 하는 수준을 정의하는 것과 (ii) 각 수준에 대한 aggregation function을 정의하는 문제로 개념화했습니다. 현재 세 가지 수준(테스트 항목, 테스트 및 benchmark)이 있으며, 각 수준에는 고유한 aggregation function이 있습니다. WG는 채점을 처리하는 방법과 각 수준에 적합한 aggregation function에 대한 다양한 제안을 고려했습니다. 우리는 benchmark의 v0.5에 대해 아래에 설명된 선택을 결정했습니다.
우리는 채점 시스템을 (i) 집계가 이루어져야 하는 수준을 정의하는 것과 (ii) 각 수준에 대한 집계 함수를 정의하는 문제로 개념화했습니다. 현재 세 가지 수준(테스트 항목, 테스트 및 벤치마크)이 있으며, 각 수준에는 고유한 집계 함수가 있습니다. WG는 채점을 처리하는 방법과 각 수준에 적합한 집계 함수에 대한 다양한 제안을 고려했습니다. 우리는 벤치마크의 v0.5에 대해 아래에 설명된 선택을 결정했습니다.