Furthermore, we observe that the computational training costs for multilingual documents are significantly lower for multilingual tokenizers than for monolingual English tokenizers (Fig. 2(a)). In fact, Fig. 2(b) and Table 11 in the appendix demonstrate that the training costs can increase up to 68% (comparing Multi-UNI-SP-50 to EN-UNI-SP-100 for German documents) for a given dataset. Assuming that during training it is required to process a fixed set of documents (e.g., Wikipedia to learn specific facts) entirely and not only a given number of tokens, the choice of the tokenizer can significantly impact the computational costs for training on this corpus.
또한 다국어 문서의 경우 다국어 tokenizer에 대한 계산 훈련 비용이 단국어 영어 tokenizer보다 훨씬 낮다는 것을 알 수 있습니다(그림 2(a)). 실제로 그림 2(b)와 부록의 표 11은 주어진 데이터 세트에 대해 최대 68%(독일어 문서의 경우 Multi-UNI-SP-50과 EN-UNI-SP-100 비교)까지 훈련 비용이 증가할 수 있음을 보여줍니다. 훈련 중에 주어진 토큰 수뿐만 아니라 고정된 문서 집합(예: 특정 사실을 학습하기 위한 위키백과)을 전체적으로 처리해야 한다고 가정하면 tokenizer의 선택이 해당 말뭉치에 대한 훈련 비용에 큰 영향을 미칠 수 있습니다.
또한 다국어 문서의 경우 다국어 토큰화에 대한 계산 훈련 비용이 단국어 영어 토큰화보다 훨씬 낮다는 것을 알 수 있습니다(그림 2(a)). 실제로 그림 2(b)와 부록의 표 11은 주어진 데이터 세트에 대해 최대 68%(독일어 문서의 경우 Multi-UNI-SP-50과 EN-UNI-SP-100 비교)까지 훈련 비용이 증가할 수 있음을 보여줍니다. 훈련 중에 주어진 토큰 수뿐만 아니라 고정된 문서 집합(예: 특정 사실을 학습하기 위한 위키백과)을 전체적으로 처리해야 한다고 가정하면 토큰화 도구의 선택이 해당 말뭉치에 대한 훈련 비용에 큰 영향을 미칠 수 있습니다.