Previous studies have shown that distinct functionality exists in different layers of Transformer-based models when processing textual information Ethayarajh (2019); Van Aken et al. (2019). Consequently, we experiment with freezing specific layers of the model during continual pre-training. Specifically, we explore freezing the first ten layers and freezing the last ten layers, denoted as Freeze First 10 and Freeze Last 10, respectively.
이전 연구에 따르면 텍스트 정보를 처리할 때 Transformer 기반 모델의 여러 계층에 서로 다른 기능이 존재한다고 합니다(Ethayarajh, 2019; Van Aken et al., 2019). 따라서 지속적인 사전 학습 중에 모델의 특정 레이어를 동결하는 실험을 수행합니다. 구체적으로, 처음 10개 레이어를 동결하고 마지막 10개 레이어를 동결하는 실험을 수행하며, 각각 Freeze First 10과 Freeze Last 10으로 표시합니다.
이전 연구에 따르면 텍스트 정보를 처리할 때 트랜스포머 기반 모델의 여러 계층에 서로 다른 기능이 존재한다고 합니다(Ethayarajh, 2019; Van Aken et al., 2019). 따라서 지속적인 사전 학습 중에 모델의 특정 레이어를 동결하는 실험을 수행합니다. 구체적으로, 처음 10개 레이어를 동결하고 마지막 10개 레이어를 동결하는 실험을 수행하며, 각각 Freeze First 10과 Freeze Last 10으로 표시합니다.