our method disrupts zero-shot performance on common evaluation tasks: BoolQ (Clark et al., 2019), PIQA (Bisk et al., 2020), SIQA (Sap et al., 2019), HellaSwag (Zellers et al., 2019), WinoGrande (Sakaguchi et al., 2021), ARC easy and challenge (Clark et al., 2018), OpenBookQA (Mihaylov et al., 2018). We also report 5-shot performance on the aggregated MMLU benchmark (Hendrycks et al., 2020). Evaluation results are summarized in Table 7. We observe that our entity reversal trained model is slightly better than the standard data-matched 1.4B model trained in the standard forward direction, and is only 1.8 points behind the compute-matched model in accuracy on average, despite being trained on half of the tokens. We note that token reversal works slightly better than entity reversal on these standard benchmarks, and hence superior to the data-matched standard training as well.
우리의 방법은 일반적인 평가 작업인 BoolQ(Clark et al., 2019), PIQA(Bisk et al., 2020), SIQA(Sap et al., 2019), HellaSwag(Zellers et al., 2019), WinoGrande(Sakaguchi et al., 2021), ARC easy 및 challenge(Clark et al., 2018), OpenBookQA(Mihaylov et al., 2018)에서 zero-shot 성능을 방해합니다. 또한 집계된 MMLU benchmark(Hendrycks et al., 2020)에서 5-shot 성능을 보고합니다. 평가 결과는 표 7에 요약되어 있습니다. entity reversal 학습 모델이 표준 순방향으로 학습된 데이터 매칭 1.4B 모델보다 약간 더 우수하며, 토큰의 절반만 학습했음에도 불구하고 평균적으로 compute-matched 모델보다 정확도에서 1.8점 뒤처지기만 합니다. token reversal이 이러한 표준 benchmark에서 entity reversal보다 약간 더 우수하므로 데이터 매칭 표준 교육보다 우수하다는 점에 유의합니다.
우리의 방법은 일반적인 평가 작업인 BoolQ(Clark et al., 2019), PIQA(Bisk et al., 2020), SIQA(Sap et al., 2019), HellaSwag(Zellers et al., 2019), WinoGrande(Sakaguchi et al., 2021), ARC easy 및 challenge(Clark et al., 2018), OpenBookQA(Mihaylov et al., 2018)에서 제로 샷 성능을 방해합니다. 또한 집계된 MMLU 벤치마크(Hendrycks et al., 2020)에서 5샷 성능을 보고합니다. 평가 결과는 표 7에 요약되어 있습니다. 엔티티 반전 학습 모델이 표준 순방향으로 학습된 데이터 매칭 1.4B 모델보다 약간 더 우수하며, 토큰의 절반만 학습했음에도 불구하고 평균적으로 컴퓨팅 매칭 모델보다 정확도에서 1.8점 뒤처지기만 합니다. 토큰 반전이 이러한 표준 벤치마크에서 엔티티 반전보다 약간 더 우수하므로 데이터 매칭 표준 교육보다 우수하다는 점에 유의합니다.