The OpenLLaMA 7Bv2 model, trained on a composite dataset comprising Falcon refined-web and starcoder datasets, augmented by contributions from Wikipedia, arXiv, books, and Stack Exchange data curated by RedPajama. The training utilizes a max learning rate of 3e-4 and min learning rate of 3e-5 with a batch size of 4 million tokens. For the learning rate scheduler, this configuration closely aligns with the setup employed in Llama2.
OpenLLaMA 7Bv2 모델은 Wikipedia, arXiv, 책, Stack Exchange 데이터를 큐레이션한 RedPajama의 기여를 통해 보강된 Falcon 정제 웹 및 starcoder 데이터 세트로 구성된 복합 데이터 세트에 대해 학습되었습니다. 학습에는 최대 Learning Rate 3e-4, 최소 Learning Rate 3e-5, Batch Size 400만 토큰이 사용됩니다. Learning Rate 스케줄러의 경우, 이 구성은 Llama2에 사용된 설정과 매우 유사합니다.
OpenLLaMA 7Bv2 모델은 Wikipedia, arXiv, 책, Stack Exchange 데이터를 큐레이션한 RedPajama의 기여를 통해 보강된 Falcon 정제 웹 및 스타코더 데이터 세트로 구성된 복합 데이터 세트에 대해 학습되었습니다. 학습에는 최대 학습 속도 3e-4, 최소 학습 속도 3e-5, 배치 크기 400만 토큰이 사용됩니다. 학습률 스케줄러의 경우, 이 구성은 Llama2에 사용된 설정과 매우 유사합니다.