We freeze the language models and train the rank-constrained heads on their output representations on roughly 150M tokens, while adjusting the learning rate to the trainable parameter count (more details in Appendix B).
언어 모델을 동결하고 그 출력 표현에 대해 순위 제한 헤드를 약 1억 5천만 토큰에 대해 학습시키는 동시에 Learning Rate를 학습 가능한 파라미터 수에 맞게 조정합니다(자세한 내용은 부록 B 참조).
언어 모델을 동결하고 그 출력 표현에 대해 순위 제한 헤드를 약 1억 5천만 토큰에 대해 학습시키는 동시에 학습 속도를 학습 가능한 파라미터 수에 맞게 조정합니다(자세한 내용은 부록 B 참조).