The quality gap metric \(G\) reflects how much the target LLM benefits from the strong LLM for each instruction \(I\). As demonstrated in Figure 2, here are two possible cases: (1) \(|G(I)|>\theta\), where \(\theta\in\mathbb{R}\) is a certain threshold. This indicates that: Either the strong LLM has a much better response than the target LLM, we add \((I,f_{s}(I))\) to our high-quality instruction-response pool \(\mathcal{D}_{g}\) to fill the gap; Or rarely, the target LLM gives much better response than the strong LLM, we add \((I,f_{t}(I))\) to \(\mathcal{D}_{g}\) as as an implicit regularization to keep the target LLM's desirable behavior to certain instructions. (2) \(|G(I)|\leq\theta\), where the quality of responses from both LLMs is similar, so learning from \(I\) does not lead to much gain. We then send \(I\) to the next Self-Rubrics iteration for further improvement.
품질 격차 metric \(G\)는 각 instruction \(I\)에 대해 강력한 LLM이 대상 LLM이 얻는 이점이 얼마나 되는지를 반영합니다. 그림 2에서 볼 수 있듯이 두 가지 가능한 경우가 있습니다: (1) \(|G(I)|>\theta\), 여기서 \(\theta\in\mathbb{R}\)는 특정 임계값입니다. 이는 다음을 나타냅니다: 강력한 LLM이 대상 LLM보다 훨씬 더 나은 응답을 제공하는 경우, 품질이 높은 instruction-response pool \(\mathcal{D}_{g}\)에 \((I,f_{s}(I))\)를 추가하여 격차를 메우거나, 드물게 대상 LLM이 강력한 LLM보다 훨씬 더 나은 응답을 제공하는 경우, \((I,f_{t}(I))\)를 \(\mathcal{D}_{g}\)에 추가하여 대상 LLM의 바람직한 동작을 특정 instruction에 유지하는 암묵적 정규화로 사용합니다. (2) \(|G(I)|\leq\theta\)인 경우, 두 LLM의 응답 품질이 비슷하여 \(I\)를 학습해도 큰 이득을 얻지 못하는 경우입니다. 그런 다음 \(I\)를 다음 Self-Rubrics iteration으로 보내 추가 개선을 수행합니다.
품질 격차 메트릭 \(G\)는 각 명령어 \(I\)에 대해 강력한 LLM이 대상 LLM이 얻는 이점이 얼마나 되는지를 반영합니다. 그림 2에서 볼 수 있듯이 두 가지 가능한 경우가 있습니다: (1) \(|G(I)|>\theta\), 여기서 \(\theta\in\mathbb{R}\)는 특정 임계값입니다. 이는 다음을 나타냅니다: 강력한 LLM이 대상 LLM보다 훨씬 더 나은 응답을 제공하는 경우, 품질이 높은 명령어-응답 풀 \(\mathcal{D}_{g}\)에 \((I,f_{s}(I))\)를 추가하여 격차를 메우거나, 드물게 대상 LLM이 강력한 LLM보다 훨씬 더 나은 응답을 제공하는 경우, \((I,f_{t}(I))\)를 \(\mathcal{D}_{g}\)에 추가하여 대상 LLM의 바람직한 동작을 특정 명령어에 유지하는 암묵적 정규화로 사용합니다. (2) \(|G(I)|\leq\theta\)인 경우, 두 LLM의 응답 품질이 비슷하여 \(I\)를 학습해도 큰 이득을 얻지 못하는 경우입니다. 그런 다음 \(I\)를 다음 Self-Rubrics 반복으로 보내 추가 개선을 수행합니다.