To prevent information leakage across chunks, we restrict the training to only include the loss on the final 32 tokens for all generations. Consequently, the models are never trained on the first 96 tokens coming from the original corpus. The size of the 2.2 million chunks can provide sufficient data for finetuning while avoiding overfitting, given the capacity of Llama-2 7B. Throughout the finetuning process, we maintain consistent settings using learning rate \(5e^{-5}\) for LoRA, using Adam optimizer, dropout rate 0.1, trainable parameter fraction 0.062%. To eliminate the possibility of model collapse due to insufficient sampling and to gain insights into scenarios where more AI-generated data is produced than the model has been trained (or finetuned) on, we consistently utilize a model trained on half the dataset for generating subsequent datasets.
청크 간 정보 유출을 방지하기 위해 모든 생성에 대해 최종 32개 토큰에 대한 Loss만 포함하도록 학습을 제한합니다. 결과적으로 모델은 원래 코퍼스에서 나온 처음 96개의 토큰에 대해 학습하지 않습니다. 220만 개의 청크 크기는 Llama-2 7B의 용량을 고려할 때 과적합을 피하면서 Fine-tuning에 충분한 데이터를 제공할 수 있습니다. Fine-tuning 과정에서 학습률은 \(5e^{-5}\)로 일관된 설정을 유지합니다, Adam Optimizer, 드롭아웃 비율 0.1, 학습 가능한 파라미터 비율 0.062%를 사용합니다. 샘플링이 불충분하여 모델이 붕괴될 가능성을 배제하고 모델이 학습(또는 Fine-tuning)한 데이터보다 더 많은 AI 생성 데이터가 생성되는 시나리오에 대한 인사이트를 얻기 위해, 우리는 일관되게 데이터 세트의 절반에 대해 학습된 모델을 사용하여 후속 데이터 세트를 생성합니다.
청크 간 정보 유출을 방지하기 위해 모든 생성에 대해 최종 32개 토큰에 대한 손실만 포함하도록 학습을 제한합니다. 결과적으로 모델은 원래 코퍼스에서 나온 처음 96개의 토큰에 대해 학습하지 않습니다. 220만 개의 청크 크기는 Llama-2 7B의 용량을 고려할 때 과적합을 피하면서 미세 조정에 충분한 데이터를 제공할 수 있습니다. 미세 조정 과정에서 학습률은 5e^{-5}\)로 일관된 설정을 유지합니다, Adam 옵티마이저, 드롭아웃 비율 0.1, 학습 가능한 파라미터 비율 0.062%를 사용합니다. 샘플링이 불충분하여 모델이 붕괴될 가능성을 배제하고 모델이 학습(또는 미세 조정)한 데이터보다 더 많은 AI 생성 데이터가 생성되는 시나리오에 대한 인사이트를 얻기 위해, 우리는 일관되게 데이터 세트의 절반에 대해 학습된 모델을 사용하여 후속 데이터 세트를 생성합니다.