Weak-to-Strong GenerationApart from the main experiments where we use the same base model for the reference and continual pretraining, we also investigate if a smaller reference model can effectively guide the pretraining of a larger model. We use Tinyllma-1.1B as reference model and continual pretraining Llama-2-7B on math. Results presented in Table 3 indicate that, despite the considerable gap between the small and large models (Li et al., 2023), employing the small reference model to token selection can still yield benefits to the pre-training of the larger model. If reference and training models have different vocabularies, one can consider performing token alignment (Wan et al., 2024; Fu et al., 2023), which we leave for future work.
약한-강한 Generation기준 및 지속적 사전 학습에 동일한 기본 모델을 사용하는 주요 실험과는 별도로, 더 작은 기준 모델이 더 큰 모델의 사전 학습을 효과적으로 안내할 수 있는지도 조사합니다. Tinyllma-1.1B를 기준 모델로 사용하고 수학에 대해 지속적인 사전 학습 Llama-2-7B를 사용합니다. 표 3에 제시된 결과는 소형 모델과 대형 모델 사이에 상당한 차이가 있음에도 불구하고(Li et al., 2023), 소형 모델을 token 선택에 사용하면 대형 모델의 사전 학습에 이점을 얻을 수 있음을 나타냅니다. 기준 모델과 학습 모델의 어휘가 다른 경우, 향후 연구로 남겨두는 token alignment(Wan et al., 2024; Fu et al., 2023)을 수행하는 것을 고려할 수 있습니다.
약한-강한 생성기준 및 지속적 사전 학습에 동일한 기본 모델을 사용하는 주요 실험과는 별도로, 더 작은 기준 모델이 더 큰 모델의 사전 학습을 효과적으로 안내할 수 있는지도 조사합니다. Tinyllma-1.1B를 기준 모델로 사용하고 수학에 대해 지속적인 사전 학습 Llama-2-7B를 사용합니다. 표 3에 제시된 결과는 소형 모델과 대형 모델 사이에 상당한 차이가 있음에도 불구하고(Li et al., 2023), 소형 모델을 토큰 선택에 사용하면 대형 모델의 사전 학습에 이점을 얻을 수 있음을 나타냅니다. 기준 모델과 학습 모델의 어휘가 다른 경우, 향후 연구로 남겨두는 토큰 정렬(Wan et al., 2024; Fu et al., 2023)을 수행하는 것을 고려할 수 있습니다.