Comparisons across models trained and evaluated in different settings are difficult to untangle, as many externalities may influence the 1 987results (e.g., numerical precision of training vs inference, prompts used). We distinguish three levels of comparisons: (1) internal comparisons, with models trained and evaluated within our codebase, for which only the pretraining datasets differ; (2) benchmark-level comparisons, with models trained with a different codebase but evaluated with the Eleuther AI harness, taking results from Scao et al. (2022); Black et al. (2022); Aleph Alpha (2023); Dey et al. (2023), thereafter flagged with a \(*\); (3) external comparisons with Brown et al. (2020); Chowdhery et al. (2022), thereafter flagged with a \(\dagger\). For further details on evaluation, see Appendix F.1.
다른 설정에서 학습 및 평가된 모델 간의 비교는 많은 외부 요인이 결과에 영향을 미칠 수 있으므로 풀기 어렵습니다(예: 학습 대 추론의 수치적 정밀도, 사용된 prompts). 우리는 세 가지 수준의 비교를 구분합니다: (1) 사전 학습 데이터 세트만 다른 내부 비교, (2) 다른 코드베이스로 학습되었지만 Scao et al. (2022); Black et al. (2022); Aleph Alpha (2023); Dey et al. (2023)의 결과를 사용하여 Eleuther AI harness로 평가된 모델을 대상으로 한 benchmark 수준 비교(\(*\) 표시); (3) Brown et al. (2020); Chowdhery et al. (2022)과의 외부 비교(\(\dagger\) 표시). 자세한 평가 내용은 부록 F.1을 참조하세요.
다른 설정에서 학습 및 평가된 모델 간의 비교는 많은 외부 요인이 1 987 결과에 영향을 미칠 수 있으므로 풀기 어렵습니다(예: 학습 대 추론의 수치적 정밀도, 사용된 프롬프트). 우리는 세 가지 수준의 비교를 구분합니다: (1) 사전 학습 데이터 세트만 다른 내부 비교, (2) 다른 코드베이스로 학습되었지만 스카우 등의 연구(2022); 블랙 등(2022); 알레프 알파(2023); 데이 등(2023)의 결과를 사용하여 엘루더 AI 하네스로 평가된 모델을 대상으로 한 벤치마크 수준 비교(\(*\) 표시); (3) 브라운 등(2020); Chowdhery 등(2022)과의 외부 비교(\(\dagger\) 표시). 자세한 평가 내용은 부록 F.1을 참조하세요.