In all cases, we perform zero-shot evaluation using the rank classification approach popularized by Brown et al. (2020). Under this approach, candidate text completions (e.g., different multiple-choice options) are ranked by likelihood (usually normalized by some normalization factor), and prediction accuracy is reported. While Catwalk implements several common likelihood normalization strategies, including normalizing by number of tokens (per-token normalization) (Brown et al., 2020; Liang et al., 2022), by number of characters (per-character normalization) (Gao et al., 2023), as well as incorporating an answer's unconditional likelihood (Brown et al., 2020), we selected the normalization strategies for each dataset separately. Specifically, we used unconditional normalization for arc and openbookqa, per-token normalization for hellaswag, piqa, and winogrande and no normalization for boolq, and sciq (i.e., tasks formulated as single token prediction tasks).
모든 경우에, 우리는 Brown 등(2020)에 의해 대중화된 rank classification 접근법을 사용하여 zero-shot 평가를 수행합니다. 이 접근 방식에서 후보 텍스트 완성(예: 서로 다른 객관식 옵션)은 가능성에 따라 순위가 매겨지며(일반적으로 일부 정규화 계수로 정규화됨), 예측 정확도가 보고됩니다. Catwalk는 토큰 수(per-token normalization)로 정규화하는 등 여러 가지 일반적인 가능성 정규화 전략을 구현하고 있습니다(Brown et al., 2020; Liang et al., 2022), 문자 수(per-character normalization)로 정규화하는 방법(Gao et al., 2023), 답의 무조건적 가능성 통합(Brown et al., 2020) 등을 구현하고 있지만, 각 데이터 세트에 대한 정규화 전략은 별도로 선택했습니다. 구체적으로, arc와 openbookqa에는 무조건 정규화를, hellaswag, piqa, winogrande에는 per-token normalization을, boolq와 sciq(즉, 단일 토큰 예측 작업으로 공식화된 작업)에는 정규화를 사용하지 않았습니다.
모든 경우에, 우리는 Brown 등(2020)에 의해 대중화된 순위 분류 접근법을 사용하여 제로 샷 평가를 수행합니다. 이 접근 방식에서 후보 텍스트 완성(예: 서로 다른 객관식 옵션)은 가능성에 따라 순위가 매겨지며(일반적으로 일부 정규화 계수로 정규화됨), 예측 정확도가 보고됩니다. 캣워크는 토큰 수(토큰당 정규화)로 정규화하는 등 여러 가지 일반적인 가능성 정규화 전략을 구현하고 있습니다(Brown et al., 2020; Liang et al., 2022), 문자 수(문자당 정규화)로 정규화하는 방법(Gao et al., 2023), 답의 무조건적 가능성 통합(Brown et al., 2020) 등을 구현하고 있지만, 각 데이터 세트에 대한 정규화 전략은 별도로 선택했습니다. 구체적으로, arc와 openbookqa에는 무조건 정규화를, hellaswag, piqa, winogrande에는 토큰당 정규화를, boolq와 sciq(즉, 단일 토큰 예측 작업으로 공식화된 작업)에는 정규화를 사용하지 않았습니다.