Table 5 reports the comparison results. GPT-NeoX reports similar average task performance under two evaluation frameworks, but its performance on individual tasks varies. For example, the F1 score on FiQA SA obtained by FLARE is 46% higher than BloombergGPT's evaluation, whereas F1 scores for Headline and NER are lower. Moreover, OPT-66B reports inferior results based on FLARE than BloombergGPT's evaluation on all of the 4 tasks, and the average task performance is 20% lower. These results suggest that BloombergGPT's evaluation results are inflated compared with FLARE. The comparison is still inconclusive unless BloombergGPT is benchmarked on FLARE or BloombergGPT's evaluation configuration is made public.
표 5는 비교 결과를 보고합니다. GPT-NeoX는 두 가지 평가 프레임워크에서 유사한 평균 작업 성능을 보고하지만 개별 작업에 대한 성능은 다릅니다. 예를 들어, FLARE가 얻은 FiQA SA의 F1 점수는 BloombergGPT의 평가보다 46% 높은 반면, Headline과 NER의 F1 점수는 낮습니다. 또한 OPT-66B는 4개의 작업 모두에서 BloombergGPT의 평가보다 FLARE를 기반으로 한 결과가 열등하며, 평균 작업 성능은 20% 낮습니다. 이러한 결과는 BloombergGPT의 평가 결과가 FLARE에 비해 부풀려져 있음을 시사합니다. BloombergGPT가 FLARE에서 벤치마킹되거나 BloombergGPT의 평가 configuration이 공개되지 않는 한 비교는 아직 결정적이지 않습니다.
표 5는 비교 결과를 보고합니다. GPT-NeoX는 두 가지 평가 프레임워크에서 유사한 평균 작업 성능을 보고하지만 개별 작업에 대한 성능은 다릅니다. 예를 들어, FLARE가 얻은 FiQA SA의 F1 점수는 블룸버그GPT의 평가보다 46% 높은 반면, 헤드라인과 NER의 F1 점수는 낮습니다. 또한 OPT-66B는 4개의 작업 모두에서 블룸버그GPT의 평가보다 FLARE를 기반으로 한 결과가 열등하며, 평균 작업 성능은 20% 낮습니다. 이러한 결과는 블룸버그GPT의 평가 결과가 FLARE에 비해 부풀려져 있음을 시사합니다. 블룸버그GPT가 FLARE에서 벤치마킹되거나 블룸버그GPT의 평가 구성이 공개되지 않는 한 비교는 아직 결정적이지 않습니다.