To assess the impact of the tokenizers on the model downstream performance, we first performed an intrinsic tokenizer evaluation, followed by an extrinsic evaluation, and finally, we investigated whether a correlation between both evaluation approaches is given.
모델의 다운스트림 성능에 대한 토크나이저의 영향을 평가하기 위해, 먼저 내재적 토크나이저 평가를 수행한 후, 외재적 평가를 진행하였으며, 마지막으로 두 평가 접근법 간의 상관관계가 존재하는지 조사했습니다.
토큰화가 모델 다운스트림 성능에 미치는 영향을 평가하기 위해 먼저 내재적 토큰화 평가를 수행한 다음 외재적 평가를 수행한 다음, 두 평가 접근 방식 간에 상관관계가 있는지 조사했다.