**Mix-Review**(He et al., 2021) We use the English Wikipedia 13 to represent the original pretraining corpus. The mix-decay and mix-ratio are set to 4 and 0.7, respectively, which is the best hyperparameter setting in the paper.
**Mix-Review**(He et al., 2021) 원본 사전 학습 코퍼스를 표현하기 위해 영어 위키백과 13을 사용합니다. mix-decay 및 mix-ratio는 각각 4 및 0.7로 설정되며, 이는 논문에서 최상의 hyperparameter 설정입니다.
**Mix-Review**(He et al., 2021) 원본 사전 학습 코퍼스를 표현하기 위해 영어 위키백과 13을 사용합니다. 혼합 감쇠 및 혼합 비율은 각각 4 및 0.7로 설정되며, 이는 논문에서 최상의 하이퍼파라미터 설정입니다.