Effect of Token Select RatioWe investigate the impact of token selecting ratios of the SLM. Generally, the selecting ratio is defined by heuristic rules, similar to the approach previously employed in the training of Masked Language Models (MLMs) (Devlin et al., 2019; Liu et al., 2019). As shown in Figure 9, the selected tokens is suitable for accounting for about 60% of the original tokens.
토큰 선택 비율의 효과SLM의 토큰 선택 비율이 미치는 영향을 조사합니다. 일반적으로 선택 비율은 이전에 Masked Language Models (MLMs) 훈련에 사용된 접근 방식과 유사한 heuristic 규칙에 의해 정의됩니다(Devlin et al., 2019; Liu et al., 2019). 그림 9에서 볼 수 있듯이 선택된 토큰은 원래 토큰의 약 60%를 설명하는 데 적합합니다.
토큰 선택 비율의 효과SLM의 토큰 선택 비율이 미치는 영향을 조사합니다. 일반적으로 선택 비율은 이전에 MLM(Maskaed 언어 모델) 훈련에 사용된 접근 방식과 유사한 휴리스틱 규칙에 의해 정의됩니다(Devlin et al., 2019; Liu et al., 2019). 그림 9에서 볼 수 있듯이 선택된 토큰은 원래 토큰의 약 60%를 설명하는 데 적합합니다.