Such disparity can be found not only in their language proficiency but also in computational efficiency, where non-English languages like Korean require significantly more tokens than English even for equivalent semantic content (Figure 1). And, of course, this negatively affects the user experiences, such as longer response times, shorter context lengths, and higher API costs [23]. Expanding the tokenizer vocabulary, which introduces some frequently used yet long words as additional tokens, is thus indispensable for non-English users, but vocabulary expansion is a very challenging task because new embeddings require trillions of training tokens [18].
이러한 차이는 언어 능력뿐만 아니라 계산 효율성에서도 발견할 수 있는데, 한국어와 같은 비영어 언어는 동등한 의미적 내용에도 불구하고 영어보다 훨씬 더 많은 tokens이 필요합니다(그림 1). 물론 이는 응답 시간이 길어지고, 문맥 길이가 짧아지며, API 비용이 높아지는 등 사용자 경험에 부정적인 영향을 미칩니다[23]. 따라서 자주 사용되지만 긴 단어를 추가 tokens으로 도입하는 tokenizer 어휘를 확장하는 것은 비영어 사용자에게 필수 불가결하지만, 새로운 embeddings을 위해서는 수조 개의 학습 tokens이 필요하기 때문에 어휘 확장은 매우 어려운 작업입니다[18].
이러한 차이는 언어 능력뿐만 아니라 계산 효율성에서도 발견할 수 있는데, 한국어와 같은 비영어 언어는 동등한 의미적 내용에도 불구하고 영어보다 훨씬 더 많은 토큰이 필요합니다(그림 1). 물론 이는 응답 시간이 길어지고, 문맥 길이가 짧아지며, API 비용이 높아지는 등 사용자 경험에 부정적인 영향을 미칩니다[23]. 따라서 자주 사용되지만 긴 단어를 추가 토큰으로 도입하는 토큰화 어휘를 확장하는 것은 비영어 사용자에게 필수 불가결하지만, 새로운 임베딩을 위해서는 수조 개의 학습 토큰이 필요하기 때문에 어휘 확장은 매우 어려운 작업입니다[18].