In line with Goodhart's principle, when a measurement metric becomes the target of our pursuit, it ceases to serve as a reliable standard of assessment. Consequently, the outcomes of our evaluations on benchmarks are exclusively employed for ensuring that our alignment training does not detrimentally impact the foundational knowledge and capabilities of the base model. We do not engage in targeted optimization of our chat model with the objective of enhancing benchmark performance.
굿하트의 원칙에 따라 측정 지표가 우리가 추구하는 목표가 되면 신뢰할 수 있는 평가 기준으로서의 역할을 잃게 됩니다. 따라서 벤치마크에 대한 평가 결과는 alignment training이 기본 모델의 기본 지식과 역량에 부정적인 영향을 미치지 않도록 하는 데만 사용됩니다. 벤치마크 성능을 향상시키는 목적으로 채팅 모델을 목표로 optimization하지 않습니다.
굿하트의 원칙에 따라 측정 지표가 우리가 추구하는 목표가 되면 신뢰할 수 있는 평가 기준으로서의 역할을 잃게 됩니다. 따라서 벤치마크에 대한 평가 결과는 얼라이먼트 교육이 기본 모델의 기본 지식과 역량에 부정적인 영향을 미치지 않도록 하는 데만 사용됩니다. 벤치마크 성능을 향상시키는 목적으로 채팅 모델을 목표로 최적화하지 않습니다.