Fertility, the most common metric to evaluate a tokenizer's performance (Scao et al., 2022; Stollenwerk, 2023; Rust et al., 2021), is defined as the average number of tokens that are required to represent a word or document. For a tokenizer \(T\) and dataset \(A\), the fertility can be calculated as the number of tokens in \(A\) (when \(T\) is applied) divided by the number of words in \(A\). We calculate the fertility on a held-out set (10,000 documents), which was not used for the tokenizer training. For calculating the words of a document, we used whitespace splitting. Higher fertility scores correspond to weaker compression capabilities of the tokenizer.
토큰화 도구의 성능을 평가하는 가장 일반적인 지표인 fertility(Scao et al., 2022; Stollenwerk, 2023; Rust et al., 2021)은 단어 또는 문서를 표현하는 데 필요한 평균 토큰 수로 정의됩니다. 토큰화 도구 \(T\)와 데이터 세트 \(A\)의 경우, fertility는 \(A\)의 토큰 수(T가 적용된 경우)를 \(A\)의 단어 수로 나눈 값으로 계산할 수 있습니다. 토큰화 도구 훈련에 사용되지 않은 보류된 집합(10,000개 문서)에서 fertility를 계산합니다. 문서의 단어를 계산할 때 공백 분할을 사용했습니다. fertility 점수가 높을수록 토큰화 도구의 압축 기능이 약해진다는 의미입니다.
토큰화 도구의 성능을 평가하는 가장 일반적인 지표인 생식력(Scao et al., 2022; Stollenwerk, 2023; Rust et al., 2021)은 단어 또는 문서를 표현하는 데 필요한 평균 토큰 수로 정의됩니다. 토큰화 도구 \(T\)와 데이터 세트 \(A\)의 경우, 토큰화 도구의 생식력은 \(A\)의 토큰 수(T가 적용된 경우)를 \(A\)의 단어 수로 나눈 값으로 계산할 수 있습니다. 토큰화 도구 훈련에 사용되지 않은 보류된 집합(10,000개 문서)에서 생식력을 계산합니다. 문서의 단어를 계산할 때 공백 분할을 사용했습니다. 생식력 점수가 높을수록 토큰화 도구의 압축 기능이 약해진다는 의미입니다.