* We conduct a study investigating the intrinsic tokenizer performance. * We conduct a study investigating the extrinsic tokenizer performance, i.e., the impact of the tokenizer on the model's downstream performance. * We investigate whether a correlation between the intrinsic and the extrinsic tokenizer performance exists.
* 내재적 tokenizer 성능을 조사하는 연구를 수행합니다. * tokenizer가 모델의 downstream 성능에 미치는 영향, 즉 tokenizer의 외재적 성능을 조사하는 연구를 수행합니다. * 내재적 tokenizer 성능과 외재적 tokenizer 성능 간에 상관관계가 있는지 조사합니다.
* 내재적 토큰화기 성능을 조사하는 연구를 수행합니다. * 토큰화기가 모델의 다운스트림 성능에 미치는 영향, 즉 토큰화기의 외재적 성능을 조사하는 연구를 수행합니다. * 내재적 토큰화기 성능과 외재적 토큰화기 성능 간에 상관관계가 있는지 조사합니다.