**Mix-Review**(He et al., 2021) falls into the category of rehearsal methods, which assumes access to the initial pretraining corpus and mixes in random subsets of the initial pretraining data during continued pretraining, depending on the mix-ratio at the current time step. As the training progresses, the mix-ratio decays towards 0, decreasing the amount of the mixed original data at each iteration.
**Mix-Review**(He et al., 2021)는 리허설 방법의 범주에 속하며, 초기 pretraining 코퍼스에 대한 액세스를 가정하고 현재 시간 단계의 mix-ratio에 따라 지속적인 pretraining 중에 초기 pretraining 데이터의 무작위 하위 집합을 mix합니다. 훈련이 진행됨에 따라 mix-ratio는 0을 향해 감소하여 각 iteration에서 혼합된 원본 데이터의 양이 감소합니다.
**Mix-Review**(He et al., 2021)는 리허설 방법의 범주에 속하며, 초기 사전 학습 코퍼스에 대한 액세스를 가정하고 현재 시간 단계의 믹스 비율에 따라 지속적인 사전 학습 중에 초기 사전 학습 데이터의 무작위 하위 집합을 믹스합니다. 훈련이 진행됨에 따라 믹스 비율은 0을 향해 감소하여 각 반복에서 혼합된 원본 데이터의 양이 감소합니다.