FactScore [155] is a recent example of a metric that can be used both for human and model-based evaluation. The metric breaks an LLM generation into "atomic facts". The final score is computed as the sum of the accuracy of each atomic fact, giving each of them equal weight. Accuracy is a binary number that simply states whether the atomic fact is supported by the source. The authors implement different automation strategies that use LLMs to estimate this metric.
팩트스코어[155]는 인간 및 모델 기반 평가에 모두 사용할 수 있는 metric의 최근 예입니다. 이 metric은 LLM 생성을 "원자적 사실"로 나눕니다. 최종 점수는 각 원자적 사실의 정확도 합으로 계산되며, 각 사실에 동일한 가중치가 부여됩니다. 정확도는 원자적 사실이 소스에 의해 지원되는지 여부를 단순히 나타내는 이진수입니다. 저자들은 이 metric을 추정하기 위해 LLM을 사용하는 다양한 자동화 전략을 구현했습니다.
팩트스코어[155]는 인간 및 모델 기반 평가에 모두 사용할 수 있는 메트릭의 최근 예입니다. 이 메트릭은 LLM 생성을 "원자적 사실"로 나눕니다. 최종 점수는 각 원자적 사실의 정확도 합으로 계산되며, 각 사실에 동일한 가중치가 부여됩니다. 정확도는 원자적 사실이 소스에 의해 지원되는지 여부를 단순히 나타내는 이진수입니다. 저자들은 이 메트릭을 추정하기 위해 LLM을 사용하는 다양한 자동화 전략을 구현했습니다.