Similar to prior work Xu et al. (2023); Zhao et al. (2023), we compute the total ratio of wins and ties of a target LLM against the strong LLM, to indicate how much model capacity the target LLM recovers from the strong LLM (often treated as the upper bound performer). CRR simplifies the combinatorial pairwise comparisons between all target LLMs. We name the metric as _Capacity Recovery Ratio_ (CRR), where \(\texttt{CRR}=\frac{\texttt{wins}+\texttt{ties}}{\texttt{total comparisons}}\). In experiments, we observe that the number of ties often dominates the number of wins, since the strong LLM is much capable than the target model. So we do not put additional weights on wins in the calculation. To demonstrate CRR faithfully reflects model performance, we show the exact number of wins, ties and losses in Appendix A.5 on Evol-Instruct. We would like to emphasize our focus on the gap in CRR between different methods instead of the absolute value, since the absolute value may based on the specific LLM evaluator we choose.
이전 작업 Xu et al. (2023); Zhao et al. (2023)과 유사하게, 강력한 LLM에 대한 대상 LLM의 총 승리 및 동점 비율을 계산하여 대상 LLM이 강력한 LLM에서 얼마나 많은 모델 용량을 회복했는지를 나타냅니다(종종 상한선 수행자로 취급됨). CRR은 모든 대상 LLM 간의 조합적 쌍별 비교를 단순화합니다. 이 메트릭을 _Capacity Recovery Ratio_ (CRR)이라고 하며, 여기서 \(\texttt{CRR}=\frac{\texttt{wins}+\texttt{ties}}{\texttt{total comparisons}}\)입니다. 실험에서 강력한 LLM이 대상 모델보다 훨씬 뛰어나기 때문에 동점 수가 승리 수를 지배하는 경우가 많다는 것을 관찰했습니다. 따라서 계산에서 승리에 추가 가중치를 두지 않았습니다. CRR이 모델 성능을 충실하게 반영하는지 입증하기 위해 부록 A.5에서 Evol-Instruct에 대한 정확한 승리, 동점 및 패배 횟수를 보여줍니다. 절대값은 우리가 선택한 특정 LLM 평가자에 따라 달라질 수 있으므로 절대값 대신 여러 방법 간의 CRR 격차에 초점을 맞추고자 합니다.
이전 작업 Xu et al. (2023); Zhao et al. (2023)과 유사하게, 강력한 LLM에 대한 대상 LLM의 총 승리 및 동점 비율을 계산하여 대상 LLM이 강력한 LLM에서 얼마나 많은 모델 용량을 회복했는지를 나타냅니다(종종 상한선 수행자로 취급됨). CRR은 모든 대상 LLM 간의 조합적 쌍별 비교를 단순화합니다. 이 메트릭을 _용량 복구 비율_(CRR)이라고 하며, 여기서 \(\texttt{CRR}=\frac{\texttt{wins}+\texttt{ties}}{\texttt{total comparisons}}\)입니다. 실험에서 강력한 LLM이 대상 모델보다 훨씬 뛰어나기 때문에 동점 수가 승리 수를 지배하는 경우가 많다는 것을 관찰했습니다. 따라서 계산에서 승리에 추가 가중치를 두지 않았습니다. CRR이 모델 성능을 충실하게 반영하는지 입증하기 위해 부록 A.5에서 Evol-Instruct에 대한 정확한 승리, 동점 및 패배 횟수를 보여줍니다. 절대값은 우리가 선택한 특정 LLM 평가자에 따라 달라질 수 있으므로 절대값 대신 여러 방법 간의 CRR 격차에 초점을 맞추고자 합니다.