Evaluation.At variance with previous works studying pretraining datasets (Rae et al., 2021; Lee et al., 2022), we focus our evaluation on zero-shot generalization across many tasks rather than measuring validation loss. Perplexity alone can be at odds with end-task performance (Tay et al., 2021), and modern works on LLMs predominantly report zero-shot performance (Brown et al., 2020; Rae et al., 2021; Chowdhery et al., 2022). Furthermore, zero-shot generalization is the "natural" setting for autoregressive decoder-only models, in which they perform best (Wang et al., 2022). Our evaluation setup is inspired by the one used by the architecture and scaling group of Big Science (Scao et al., 2022).
평가. 사전 학습 데이터 세트를 연구하는 이전 작업(Rae et al., 2021; Lee et al., 2022)과는 달리, 우리는 검증 Loss를 측정하기보다는 많은 작업에 걸친 zero-shot 일반화에 평가를 집중합니다. Perplexity만으로는 최종 작업 성능과 상충될 수 있으며(Tay et al., 2021), LLM에 대한 최신 연구에서는 주로 zero-shot 성능을 보고하고 있습니다(Brown et al., 2020; Rae et al., 2021; Chowdhery et al., 2022). 또한 zero-shot 일반화는 autoregressive Decoder 전용 모델이 가장 우수한 성능을 발휘하는 "자연스러운" 설정입니다(Wang et al., 2022). 저희의 평가 설정은 Big Science의 아키텍처 및 Scaling 그룹에서 사용한 설정에서 영감을 받았습니다(Scao et al., 2022).
평가. 사전 학습 데이터 세트를 연구하는 이전 작업(Rae et al., 2021; Lee et al., 2022)과는 달리, 우리는 검증 손실을 측정하기보다는 많은 작업에 걸친 제로 샷 일반화에 평가를 집중합니다. 난해성만으로는 최종 작업 성능과 상충될 수 있으며(Tay et al., 2021), LLM에 대한 최신 연구에서는 주로 제로 샷 성능을 보고하고 있습니다(Brown et al., 2020; Rae et al., 2021; Chowdhery et al., 2022). 또한 제로 샷 일반화는 자동 회귀 디코더 전용 모델이 가장 우수한 성능을 발휘하는 "자연스러운" 설정입니다(Wang et al., 2022). 저희의 평가 설정은 빅 사이언스의 아키텍처 및 확장 그룹에서 사용한 설정에서 영감을 받았습니다(Scao et al., 2022).