{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 3.48,
  "eval_steps": 500,
  "global_step": 24,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.16,
      "grad_norm": 1.5084160566329956,
      "learning_rate": 9.583333333333334e-05,
      "loss": 8.8645,
      "step": 1
    },
    {
      "epoch": 0.32,
      "grad_norm": 2.5204503536224365,
      "learning_rate": 9.166666666666667e-05,
      "loss": 8.8921,
      "step": 2
    },
    {
      "epoch": 0.48,
      "grad_norm": 3.3422935009002686,
      "learning_rate": 8.75e-05,
      "loss": 8.7772,
      "step": 3
    },
    {
      "epoch": 0.64,
      "grad_norm": 2.7903430461883545,
      "learning_rate": 8.333333333333334e-05,
      "loss": 8.8086,
      "step": 4
    },
    {
      "epoch": 0.8,
      "grad_norm": 3.484639883041382,
      "learning_rate": 7.916666666666666e-05,
      "loss": 8.7218,
      "step": 5
    },
    {
      "epoch": 0.96,
      "grad_norm": 3.7417964935302734,
      "learning_rate": 7.500000000000001e-05,
      "loss": 8.6749,
      "step": 6
    },
    {
      "epoch": 1.0,
      "grad_norm": 1.1924405097961426,
      "learning_rate": 7.083333333333334e-05,
      "loss": 2.1487,
      "step": 7
    },
    {
      "epoch": 1.16,
      "grad_norm": 4.196799278259277,
      "learning_rate": 6.666666666666667e-05,
      "loss": 8.5763,
      "step": 8
    },
    {
      "epoch": 1.32,
      "grad_norm": 4.983647346496582,
      "learning_rate": 6.25e-05,
      "loss": 8.5008,
      "step": 9
    },
    {
      "epoch": 1.48,
      "grad_norm": 5.189249515533447,
      "learning_rate": 5.833333333333334e-05,
      "loss": 8.563,
      "step": 10
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 5.226248741149902,
      "learning_rate": 5.4166666666666664e-05,
      "loss": 8.4476,
      "step": 11
    },
    {
      "epoch": 1.8,
      "grad_norm": 6.8095383644104,
      "learning_rate": 5e-05,
      "loss": 8.5864,
      "step": 12
    },
    {
      "epoch": 1.96,
      "grad_norm": 5.697165012359619,
      "learning_rate": 4.5833333333333334e-05,
      "loss": 8.4354,
      "step": 13
    },
    {
      "epoch": 2.0,
      "grad_norm": 2.0124471187591553,
      "learning_rate": 4.166666666666667e-05,
      "loss": 2.0576,
      "step": 14
    },
    {
      "epoch": 2.16,
      "grad_norm": 6.587825298309326,
      "learning_rate": 3.7500000000000003e-05,
      "loss": 8.5304,
      "step": 15
    },
    {
      "epoch": 2.32,
      "grad_norm": 7.581618309020996,
      "learning_rate": 3.3333333333333335e-05,
      "loss": 8.4023,
      "step": 16
    },
    {
      "epoch": 2.48,
      "grad_norm": 5.851335525512695,
      "learning_rate": 2.916666666666667e-05,
      "loss": 8.331,
      "step": 17
    },
    {
      "epoch": 2.64,
      "grad_norm": 5.349519729614258,
      "learning_rate": 2.5e-05,
      "loss": 8.2898,
      "step": 18
    },
    {
      "epoch": 2.8,
      "grad_norm": 5.025180339813232,
      "learning_rate": 2.0833333333333336e-05,
      "loss": 8.2701,
      "step": 19
    },
    {
      "epoch": 2.96,
      "grad_norm": 6.174531936645508,
      "learning_rate": 1.6666666666666667e-05,
      "loss": 8.3265,
      "step": 20
    },
    {
      "epoch": 3.0,
      "grad_norm": 1.5616778135299683,
      "learning_rate": 1.25e-05,
      "loss": 2.0624,
      "step": 21
    },
    {
      "epoch": 3.16,
      "grad_norm": 5.868183612823486,
      "learning_rate": 8.333333333333334e-06,
      "loss": 8.3152,
      "step": 22
    },
    {
      "epoch": 3.32,
      "grad_norm": 6.4429545402526855,
      "learning_rate": 4.166666666666667e-06,
      "loss": 8.3426,
      "step": 23
    },
    {
      "epoch": 3.48,
      "grad_norm": 5.181556224822998,
      "learning_rate": 0.0,
      "loss": 8.2739,
      "step": 24
    },
    {
      "epoch": 3.48,
      "step": 24,
      "total_flos": 57308909613696.0,
      "train_loss": 7.716630697250366,
      "train_runtime": 171.0458,
      "train_samples_per_second": 2.339,
      "train_steps_per_second": 0.14
    }
  ],
  "logging_steps": 1,
  "max_steps": 24,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 4,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 57308909613696.0,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}