The StarCoder [11] serves as our basic foundation model. The evolved dataset consists of approximately 78k samples. To fine-tune the basic models, we employ specific configurations, including a batch size of 512, a sequence length of 2048, 200 fine-tuning steps, 30 warmup steps, a learning rate of 2e-5, a Cosine learning rate scheduler, and fp16 mixed precision.
StarCoder [11]는 기본 기반 모델 역할을 합니다. 진화된 데이터 세트는 약 78k 샘플로 구성됩니다. 기본 모델을 Fine-tuning하기 위해 Batch Size 512, 시퀀스 길이 2048, Fine-tuning 단계 200, 워밍업 단계 30, Learning Rate 2e-5, Cosine Learning Rate 스케줄러, fp16 혼합 정밀도 등 특정 구성을 사용합니다.
StarCoder [11]는 기본 기반 모델 역할을 합니다. 진화된 데이터 세트는 약 78k 샘플로 구성됩니다. 기본 모델을 미세 조정하기 위해 배치 크기 512, 시퀀스 길이 2048, 미세 조정 단계 200, 워밍업 단계 30, 학습 속도 2e-5, 코사인 학습 속도 스케줄러, fp16 혼합 정밀도 등 특정 구성을 사용합니다.