At the method level, we question whether training on metric-preferred data always leads to better scores on that metric, regardless of the method we use. However, the connection is not straightforward; for instance, SFT on preferred data paradoxically results in diminished performance across all three metrics as shown in Table 2.
방법 수준에서 우리는 우리가 사용하는 방법에 관계없이 메트릭 선호 데이터에 대한 훈련이 항상 해당 메트릭에서 더 나은 점수로 이어지는지에 대해 의문을 갖는다. 그러나 이 연결은 간단하지 않다. 예를 들어, 선호 데이터에 대한 Supervised Fine-tuning (SFT)는 표 2와 같이 역설적으로 세 가지 메트릭 모두에서 성능 저하로 이어진다.
방법 수준에서 우리는 우리가 사용하는 방법에 관계없이 메트릭 선호 데이터에 대한 훈련이 항상 해당 메트릭에서 더 나은 점수로 이어지는지에 대해 의문을 갖는다. 그러나 이 연결은 간단하지 않다. 예를 들어, 선호 데이터에 대한 SFT는 표 2와 같이 역설적으로 세 가지 메트릭 모두에서 성능 저하로 이어진다.