In the future, we aim to investigate tokenizers for a larger set of languages, including very diverse languages, and investigate the impact of alternative tokenization approaches such as SAGE (Yehezkel and Pinter, 2023) that focus on context information during tokenizer training.
향후에는 매우 다양한 언어를 포함한 더 많은 언어 집합에 대한 tokenizers를 조사하고, tokenizer 훈련 중에 문맥 정보에 초점을 맞춘 SAGE(Yehezkel and Pinter, 2023)와 같은 대체 tokenization 접근 방식의 영향을 조사하는 것을 목표로 한다.
향후에는 매우 다양한 언어를 포함한 더 많은 언어 집합에 대한 토큰화 도구를 조사하고, 토큰화 도구 학습 중에 문맥 정보에 초점을 맞춘 SAGE(Yehezkel and Pinter, 2023)와 같은 대체 토큰화 접근 방식의 영향을 조사하는 것을 목표로 한다.