kens to represent them, but our new tokenizer can do so with almost half, using only 1.6B tokens. This difference becomes even more pronounced in the case of Phi-2 and EEVE-Korean-2.88 models, where they require 5.6B tokens and 1.6B tokens respectively. Considering that transformers have a quadratic-increasing computation complexity with respect to token length, this can be interpreted in two significant ways. First, it allows for processing sequences more than 4 times longer on the same GPU. Or second, it means our model can be trained nearly 4 times more computationally efficiently on the same dataset. This difference becomes even more pronounced in the case of the Phi-2 and EEVE-Korean-2.8B tokenizers.
kens를 대표할 수 있지만, 새로운 tokenizer를 사용하면 1.6B tokens만 사용하여 거의 절반으로 줄일 수 있습니다. 이 차이는 Phi-2 및 EEVE-Korean-2.8 모델의 경우 각각 5.6B tokens과 1.6B tokens이 필요한 경우 더욱 두드러집니다. tokens 길이에 대한 컴퓨팅 복잡성이 이차적으로 증가한다는 점을 고려할 때, 이는 두 가지 중요한 의미로 해석할 수 있습니다. 첫째, 동일한 GPU에서 4배 이상 긴 시퀀스를 처리할 수 있습니다. 또는 둘째, 동일한 데이터 세트에서 거의 4배 더 계산 효율적으로 모델을 학습할 수 있다는 의미입니다. 이 차이는 Phi-2 및 EEVE-Korean-2.8B tokenizer의 경우 더욱 두드러집니다.
kens를 대표할 수 있지만, 새로운 토큰화 도구를 사용하면 1.6B 토큰만 사용하여 거의 절반으로 줄일 수 있습니다. 이 차이는 Phi-2 및 EEVE-Korean-2.8 모델의 경우 각각 5.6B 토큰과 1.6B 토큰이 필요한 경우 더욱 두드러집니다. 토큰 길이에 대한 컴퓨팅 복잡성이 이차적으로 증가한다는 점을 고려할 때, 이는 두 가지 중요한 의미로 해석할 수 있습니다. 첫째, 동일한 GPU에서 4배 이상 긴 시퀀스를 처리할 수 있습니다. 또는 둘째, 동일한 데이터 세트에서 거의 4배 더 계산 효율적으로 모델을 학습할 수 있다는 의미입니다. 이 차이는 Phi-2 및 EEVE-Korean-2.8B 토큰화기의 경우 더욱 두드러집니다.