Parity (Petrov et al., 2023), which has been recently proposed, assesses how fairly a tokenizer treats equivalent sentences in different languages. A tokenizer \(T\) achieves parity for language \(A\) with respect to language \(B\) if \(\frac{|T(s_{A})|}{|T(s_{B})|}\approx 1\), where \(s_{A}\) and \(s_{B}\) denote the sets of all sentences in the corpora of languages \(A\) and \(B\), respectively, and the ratio \(\frac{|T(s_{A})|}{T(s_{B})|}\) is defined as premium. We use the FLORES-200 (Goyal et al., 2022) parallel corpus, consisting of the same sentences human-translated into 200 languages. We calculate the parity values for each tokenizer and the four non-English languages with respect to English (see Fig. 2 for an overview).
최근에 제안된 Parity (Petrov et al., 2023)는 tokenizer가 서로 다른 언어의 동등한 문장을 얼마나 공정하게 처리하는지를 평가합니다. tokenizer \(T\)는 \(\frac{|T(s_{A})|}{|T(s_{B})|}\approx 1\)이면 언어 \(A\)에 대해 언어 \(B\)에 대한 parity를 달성하며, 여기서 \(s_{A}\)와 \(s_{B}\)는 각각 언어 \(A\)와 \(B\)의 코퍼스에 있는 모든 문장의 집합을 나타내며, 비율 \(\frac{|T(s_{A})|}{T(s_{B})|}\)는 premium으로 정의됩니다. 동일한 문장을 200개 언어로 인간 번역한 것으로 구성된 FLORES-200(Goyal et al., 2022) 병렬 코퍼스를 사용합니다. 각 tokenizer와 영어가 아닌 4개 언어에 대한 영어와의 parity 값을 계산합니다(개요는 그림 2 참조).
최근에 제안된 패리티(Petrov et al., 2023)는 토큰화기가 서로 다른 언어의 동등한 문장을 얼마나 공정하게 처리하는지를 평가합니다. 토큰화기 \(T\)는 \(\frac{|T(s_{A})|}{|T(s_{B})|}\약 1\)이면 언어 \(A\)에 대해 언어 \(B\)에 대한 패리티를 달성하며, 여기서 \(s_{A}\)와 \(s_{B}\)는 각각 언어 \(A\)와 \(B\)의 코퍼스에 있는 모든 문장의 집합을 나타내며, 비율 \(\frac{|T(s_{A})|}{T(s_{B})|}\)는 프리미엄으로 정의됩니다. 동일한 문장을 200개 언어로 인간 번역한 것으로 구성된 FLORES-200(Goyal et al., 2022) 병렬 코퍼스를 사용합니다. 각 토큰화기와 영어가 아닌 4개 언어에 대한 영어와의 패리티 값을 계산합니다(개요는 그림 2 참조).