Option 2: Decile binsThis involves collecting the results for a set of SUTs and then grading them based on their relative performance, or rank. For instance, SUTs could be considered "High risk" if they appear in the bottom 50% of results and "Low risk" if they appear in the top 10% of results. The advantage of this approach is that it is easy to calculate, has a clear interpretation, and allows us to distinguish between better and worse SUTs. However, because decile bins are relative to the performance of other SUTs, they have several shortfalls. They do not provide insight into the actual safety risks of SUTs; they penalize SUTs that are safe but lowly ranked; and they can be biased by the number of SUTs that have been tested.
옵션 2: Decile bins 여기에는 일련의 SUT에 대한 결과를 수집한 다음 상대적 성능 또는 순위에 따라 등급을 매기는 것이 포함됩니다. 예를 들어, SUT가 하위 50%의 결과에 표시되면 "고위험"으로 간주하고 상위 10%의 결과에 표시되면 "저위험"으로 간주할 수 있습니다. 이 접근 방식의 장점은 계산하기 쉽고 해석이 명확하며 더 나은 SUT와 더 나쁜 SUT를 구분할 수 있다는 것입니다. 그러나 Decile bins는 다른 SUT의 성능에 상대적인 것이기 때문에 몇 가지 단점이 있습니다. SUT의 실제 안전 위험에 대한 통찰력을 제공하지 못하며, 안전하지만 순위가 낮은 SUT는 불이익을 받고, 테스트된 SUT의 수에 의해 편향될 수 있습니다.
옵션 2: 십분위수 통계여기에는 일련의 SUT에 대한 결과를 수집한 다음 상대적 성능 또는 순위에 따라 등급을 매기는 것이 포함됩니다. 예를 들어, SUT가 하위 50%의 결과에 표시되면 "고위험"으로 간주하고 상위 10%의 결과에 표시되면 "저위험"으로 간주할 수 있습니다. 이 접근 방식의 장점은 계산하기 쉽고 해석이 명확하며 더 나은 SUT와 더 나쁜 SUT를 구분할 수 있다는 것입니다. 그러나 십분위수 구간은 다른 SUT의 성능에 상대적인 것이기 때문에 몇 가지 단점이 있습니다. SUT의 실제 안전 위험에 대한 통찰력을 제공하지 못하며, 안전하지만 순위가 낮은 SUT는 불이익을 받고, 테스트된 SUT의 수에 의해 편향될 수 있습니다.