We also conduct experiments by freezing specific modules of the model during continual pre-training. We aim to explore whether these designated modules preserve the abilities acquired during the alignment operations.
우리는 또한 지속적인 사전 훈련 동안 모델의 특정 모듈을 고정하여 실험을 수행합니다. 이러한 지정된 모듈이 정렬 작업 중에 획득한 능력을 유지하는지 탐구하는 것을 목표로 합니다.
또한 지속적인 사전 학습 중에 모델의 특정 모듈을 동결하여 실험을 수행합니다. 이러한 지정된 모듈이 정렬 작업 중에 습득한 능력을 유지하는지 여부를 탐구하는 것을 목표로 합니다.