{ "best_metric": null, "best_model_checkpoint": null, "epoch": 2.4, "eval_steps": 1, "global_step": 9, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.26666666666666666, "grad_norm": 0.1357570467836887, "learning_rate": 1.0000000000000001e-07, "loss": 1.7723, "step": 1 }, { "epoch": 0.26666666666666666, "eval_loss": 2.088420867919922, "eval_runtime": 6.4988, "eval_samples_per_second": 2.308, "eval_steps_per_second": 0.154, "step": 1 }, { "epoch": 0.5333333333333333, "grad_norm": 0.12515875774524352, "learning_rate": 2.0000000000000002e-07, "loss": 1.8176, "step": 2 }, { "epoch": 0.5333333333333333, "eval_loss": 2.0871875286102295, "eval_runtime": 6.4536, "eval_samples_per_second": 2.324, "eval_steps_per_second": 0.155, "step": 2 }, { "epoch": 0.8, "grad_norm": 0.126303798585066, "learning_rate": 3.0000000000000004e-07, "loss": 1.8499, "step": 3 }, { "epoch": 0.8, "eval_loss": 2.087430000305176, "eval_runtime": 6.4444, "eval_samples_per_second": 2.328, "eval_steps_per_second": 0.155, "step": 3 }, { "epoch": 1.0666666666666667, "grad_norm": 0.3606214748278613, "learning_rate": 4.0000000000000003e-07, "loss": 1.7963, "step": 4 }, { "epoch": 1.0666666666666667, "eval_loss": 2.0864670276641846, "eval_runtime": 3.8555, "eval_samples_per_second": 3.891, "eval_steps_per_second": 0.259, "step": 4 }, { "epoch": 1.3333333333333333, "grad_norm": 0.13158662209460245, "learning_rate": 5.000000000000001e-07, "loss": 1.8762, "step": 5 }, { "epoch": 1.3333333333333333, "eval_loss": 2.0866217613220215, "eval_runtime": 6.4449, "eval_samples_per_second": 2.327, "eval_steps_per_second": 0.155, "step": 5 }, { "epoch": 1.6, "grad_norm": 0.12861366776262778, "learning_rate": 6.000000000000001e-07, "loss": 1.7795, "step": 6 }, { "epoch": 1.6, "eval_loss": 2.0874640941619873, "eval_runtime": 6.43, "eval_samples_per_second": 2.333, "eval_steps_per_second": 0.156, "step": 6 }, { "epoch": 1.8666666666666667, "grad_norm": 0.1328896386162935, "learning_rate": 7.000000000000001e-07, "loss": 1.8179, "step": 7 }, { "epoch": 1.8666666666666667, "eval_loss": 2.088042736053467, "eval_runtime": 3.8515, "eval_samples_per_second": 3.895, "eval_steps_per_second": 0.26, "step": 7 }, { "epoch": 2.1333333333333333, "grad_norm": 0.14871283917025502, "learning_rate": 8.000000000000001e-07, "loss": 1.8353, "step": 8 }, { "epoch": 2.1333333333333333, "eval_loss": 2.087448835372925, "eval_runtime": 6.431, "eval_samples_per_second": 2.332, "eval_steps_per_second": 0.155, "step": 8 }, { "epoch": 2.4, "grad_norm": 0.12616378257742752, "learning_rate": 9.000000000000001e-07, "loss": 1.8009, "step": 9 }, { "epoch": 2.4, "eval_loss": 2.0864264965057373, "eval_runtime": 6.4396, "eval_samples_per_second": 2.329, "eval_steps_per_second": 0.155, "step": 9 } ], "logging_steps": 1, "max_steps": 12, "num_input_tokens_seen": 0, "num_train_epochs": 4, "save_steps": 3, "total_flos": 14110477516800.0, "train_batch_size": 2, "trial_name": null, "trial_params": null }