We report the data statistics for the CKL benchmark in Table 5. We measure the size, average input token length, average answer token length, and the answer types of each constructed dataset. One thing to consider is that LAMA (Petroni et al., 2019) from which we constructed InvariantLAMA is originally constructed for only single-token decoding (1.3 with the T5-tokenizer) because multi-token decoding entails additional, tunable parameters (beam size, n-gram repetition penalties, etc.).
표 5에 CKL 벤치마크에 대한 데이터 통계를 보고한다. 크기, 평균 입력 token 길이, 평균 답변 token 길이, 각 구성된 데이터 세트의 답변 유형을 측정합니다. 한 가지 고려해야 할 사항은 multi-token decoding에는 조정 가능한 추가 매개변수(beam size, n-gram repetition penalties 등)가 수반되기 때문에 InvariantLAMA를 구성한 LAMA(Petroni et al., 2019)는 원래 single-token decoding(T5-tokenizer 기준 1.3)만을 위해 구성되었다.
표 5에 CKL 벤치마크에 대한 데이터 통계를 보고한다. 크기, 평균 입력 토큰 길이, 평균 답변 토큰 길이, 각 구성된 데이터 세트의 답변 유형을 측정합니다. 한 가지 고려해야 할 사항은 다중 토큰 디코딩에는 조정 가능한 추가 매개변수(빔 크기, n-그램 반복 페널티 등)가 수반되기 때문에 InvariantLAMA를 구성한 LAMA(Petroni et al., 2019)는 원래 단일 토큰 디코딩(T5 토큰화기 기준 1.3)만을 위해 구성되었다.