Downstream EvaluationFollowing much previous work (Brown et al., 2020; Black et al., 2022; Touvron et al., 2023, _inter alia_), we report zero-shot performance on a set of downstream tasks. Our evaluation suite consists of 8 core tasks corresponding closely to the commonsense reasoning task set reported by Touvron et al. (2023) and Touvron et al. (2023) (see Table 6 for a list of tasks). Given the scale of the models being evaluated, such tasks were selected at the beginning of model development due to their naturalness (e.g., all can formulated as text completion scoring tasks) and ability to provide meaningful signals throughout training (see Figure 1).
후속 평가: 많은 이전 연구(Brown et al., 2020; Black et al., 2022; Touvron et al., 2023, _inter alia_)를 따르며, 우리는 일련의 다운스트림 작업에 대한 제로샷 성능을 보고합니다. 우리의 평가 모음은 Touvron et al. (2023)과 Touvron et al. (2023)이 보고한 상식 추론 작업 세트와 밀접하게 관련된 8개의 핵심 작업으로 구성되어 있습니다(작업 목록은 표 6 참조). 평가되는 모델의 규모를 감안할 때, 이러한 작업은 자연스러움(예: 모두 텍스트 완성 점수 작업으로 구성될 수 있음)과 훈련 전반에 걸쳐 의미 있는 신호를 제공할 수 있는 능력 때문에 모델 개발 초기에 선택되었습니다(그림 1 참조).
다운스트림 평가많은 선행 연구(Brown et al., 2020; Black et al., 2022; Touvron et al., 2023, _inter alia_)에 따라 다운스트림 작업 세트에 대한 무선 샷 성능을 보고합니다. 평가 제품군은 Touvron et al. (2023) 및 Touvron et al. (2023)에 보고된 상식 추론 작업 세트에 밀접하게 해당하는 8개의 핵심 작업으로 구성됩니다(작업 목록은 표 6 참조). 평가 대상 모델의 규모를 고려하여 모델 개발 초기에 자연스러움(예: 모두 텍스트 완성 점수 작업으로 공식화할 수 있음)과 훈련 전반에 걸쳐 의미 있는 신호를 제공할 수 있는 작업을 선정했습니다(그림 1 참조).