For the long-context language modeling task, we set the learning rate to 0.01 by performing small search over values of 0.003, 0.005, 0.01 and 0.03. We used the Adafactor optimizer (Shazeer & Stern, 2018) with linear warmup with 1000 steps, followed by cosine decay. We applied gradient checkpointing after each segment to save memory. The batch size was set to 64. For the LLM experiments, we set the learning rate to 0.0001 during continual pre-training and task fine-tuning.
긴 문맥 언어 모델링 작업의 경우 0.003, 0.005, 0.01 및 0.03 값에 대한 소규모 검색을 수행하여 Learning Rate를 0.01로 설정했습니다. 1000단계의 선형 워밍업과 함께 Adafactor Optimizer(Shazeer & Stern, 2018)를 사용한 다음 코사인 감쇠를 적용했습니다. 메모리를 절약하기 위해 각 세그먼트가 끝날 때마다 gradient checkpointing을 적용했습니다. Batch Size는 64로 설정했습니다. LLM 실험의 경우, 지속적인 사전 학습 및 작업 Fine-tuning 중에 Learning Rate를 0.0001로 설정했습니다.
긴 문맥 언어 모델링 작업의 경우 0.003, 0.005, 0.01 및 0.03 값에 대한 소규모 검색을 수행하여 학습 속도를 0.01로 설정했습니다. 1000단계의 선형 워밍업과 함께 Adafactor 옵티마이저(Shazeer & Stern, 2018)를 사용한 다음 코사인 감쇠를 적용했습니다. 메모리를 절약하기 위해 각 세그먼트가 끝날 때마다 그라디언트 체크포인팅을 적용했습니다. 배치 크기는 64로 설정했습니다. LLM 실험의 경우, 지속적인 사전 학습 및 작업 미세 조정 중에 학습 속도를 0.0001로 설정했습니다.