Finally, we could demonstrate that there is no clear correlation between intrinsic and extrinsic tokenizer performance, but the correlation is rather task-specific. A small fertility value might be a necessary condition for good downstream performance but not a sufficient one.
마지막으로, 내재적 토크나이저 성능과 외재적 토크나이저 성능 사이에 명확한 상관관계가 없음을 보여줄 수 있었지만, 상관관계는 오히려 작업별로 다릅니다. 작은 fertility 값은 좋은 다운스트림 성능을 위한 필요 조건일 수 있지만 충분 조건은 아닙니다.
마지막으로, 우리는 내재적 토큰화 및 외재적 토큰화 성능 사이에는 명확한 상관관계가 없지만, 그 상관관계는 오히려 작업별이라는 것을 입증할 수 있었다. 작은 비옥도 값은 다운스트림 성능이 우수하기 위한 필수 조건일 수는 있지만 충분한 조건은 아니다.