Update README.md

README.md

@@ -84,7 +84,7 @@ model = AutoModelForCausalLM.from_pretrained(
 num_return_sequences=1
 max_new_tokens=1024
 temperature=0.9
-top_k=40
+top_k=0 # not recommended
 top_p=0.9
 repetition_penalty=1.1
 
@@ -179,15 +179,15 @@ bias="none"
 ################################################################################
 # TrainingArguments parameters
 ################################################################################
-num_train_epochs=2
+num_train_epochs=1
 per_device_train_batch_size=1
-gradient_accumulation_steps=1
+gradient_accumulation_steps=4
 gradient_checkpointing=True
 learning_rate=2e-5
 lr_scheduler_type="cosine"
 warmup_ratio=0.1
 optim = "adamw_torch"
-weight_decay=0.1
+weight_decay=0.01
 
 ################################################################################
 # SFT parameters