We perform base model evaluation at two stages: _online_ evaluation to make decisions for model design and _offline_ evaluation to evaluate model checkpoints. For the offline stage, we use the Catwalk framework (Groeneveld et al., 2023), a publicly available evaluation tool with access to a wide range of datasets and task formats. Using Catwalk, we perform downstream evaluation as well as intrinsic language modeling evaluation on the new perplexity benchmark, Paloma (Magnusson et al., 2023).
모델 설계를 위한 의사 결정을 내리는 _온라인_ 평가와 모델 체크포인트를 평가하는 _오프라인_ 평가의 두 단계에서 기본 모델 평가를 수행합니다. 오프라인 단계에서는 다양한 데이터 세트와 작업 형식에 액세스할 수 있는 공개 평가 도구인 Catwalk 프레임워크(Groeneveld et al., 2023)를 사용합니다. Catwalk를 사용하여 다운스트림 평가와 새로운 Perplexity 벤치마크인 Paloma(Magnusson et al., 2023)에 대한 내재적 언어 모델링 평가를 수행합니다.
모델 설계를 위한 의사 결정을 내리는 _온라인_ 평가와 모델 체크포인트를 평가하는 _오프라인_ 평가의 두 단계에서 기본 모델 평가를 수행합니다. 오프라인 단계에서는 다양한 데이터 세트와 작업 형식에 액세스할 수 있는 공개 평가 도구인 Catwalk 프레임워크(Groeneveld et al., 2023)를 사용합니다. Catwalk를 사용하여 다운스트림 평가와 새로운 난해성 벤치마크인 팔로마(Magnusson et al., 2023)에 대한 내재적 언어 모델링 평가를 수행합니다.