|
{ |
|
"best_metric": null, |
|
"best_model_checkpoint": null, |
|
"epoch": 0.4, |
|
"eval_steps": 500, |
|
"global_step": 1000, |
|
"is_hyper_param_search": false, |
|
"is_local_process_zero": true, |
|
"is_world_process_zero": true, |
|
"log_history": [ |
|
{ |
|
"epoch": 0.0, |
|
"learning_rate": 4.993333333333334e-05, |
|
"loss": 1.7734, |
|
"step": 10 |
|
}, |
|
{ |
|
"epoch": 0.01, |
|
"learning_rate": 4.986666666666667e-05, |
|
"loss": 1.7829, |
|
"step": 20 |
|
}, |
|
{ |
|
"epoch": 0.01, |
|
"learning_rate": 4.9800000000000004e-05, |
|
"loss": 1.7302, |
|
"step": 30 |
|
}, |
|
{ |
|
"epoch": 0.02, |
|
"learning_rate": 4.973333333333334e-05, |
|
"loss": 1.7742, |
|
"step": 40 |
|
}, |
|
{ |
|
"epoch": 0.02, |
|
"learning_rate": 4.966666666666667e-05, |
|
"loss": 1.729, |
|
"step": 50 |
|
}, |
|
{ |
|
"epoch": 0.02, |
|
"learning_rate": 4.96e-05, |
|
"loss": 1.693, |
|
"step": 60 |
|
}, |
|
{ |
|
"epoch": 0.03, |
|
"learning_rate": 4.9533333333333336e-05, |
|
"loss": 1.7357, |
|
"step": 70 |
|
}, |
|
{ |
|
"epoch": 0.03, |
|
"learning_rate": 4.9466666666666665e-05, |
|
"loss": 1.6946, |
|
"step": 80 |
|
}, |
|
{ |
|
"epoch": 0.04, |
|
"learning_rate": 4.94e-05, |
|
"loss": 1.7229, |
|
"step": 90 |
|
}, |
|
{ |
|
"epoch": 0.04, |
|
"learning_rate": 4.933333333333334e-05, |
|
"loss": 1.6761, |
|
"step": 100 |
|
}, |
|
{ |
|
"epoch": 0.04, |
|
"learning_rate": 4.926666666666667e-05, |
|
"loss": 1.7179, |
|
"step": 110 |
|
}, |
|
{ |
|
"epoch": 0.05, |
|
"learning_rate": 4.92e-05, |
|
"loss": 1.7107, |
|
"step": 120 |
|
}, |
|
{ |
|
"epoch": 0.05, |
|
"learning_rate": 4.913333333333334e-05, |
|
"loss": 1.6537, |
|
"step": 130 |
|
}, |
|
{ |
|
"epoch": 0.06, |
|
"learning_rate": 4.906666666666667e-05, |
|
"loss": 1.7075, |
|
"step": 140 |
|
}, |
|
{ |
|
"epoch": 0.06, |
|
"learning_rate": 4.9e-05, |
|
"loss": 1.6798, |
|
"step": 150 |
|
}, |
|
{ |
|
"epoch": 0.06, |
|
"learning_rate": 4.8933333333333335e-05, |
|
"loss": 1.7028, |
|
"step": 160 |
|
}, |
|
{ |
|
"epoch": 0.07, |
|
"learning_rate": 4.886666666666667e-05, |
|
"loss": 1.7265, |
|
"step": 170 |
|
}, |
|
{ |
|
"epoch": 0.07, |
|
"learning_rate": 4.88e-05, |
|
"loss": 1.6741, |
|
"step": 180 |
|
}, |
|
{ |
|
"epoch": 0.08, |
|
"learning_rate": 4.8733333333333337e-05, |
|
"loss": 1.6397, |
|
"step": 190 |
|
}, |
|
{ |
|
"epoch": 0.08, |
|
"learning_rate": 4.866666666666667e-05, |
|
"loss": 1.7089, |
|
"step": 200 |
|
}, |
|
{ |
|
"epoch": 0.08, |
|
"learning_rate": 4.86e-05, |
|
"loss": 1.7154, |
|
"step": 210 |
|
}, |
|
{ |
|
"epoch": 0.09, |
|
"learning_rate": 4.853333333333334e-05, |
|
"loss": 1.6743, |
|
"step": 220 |
|
}, |
|
{ |
|
"epoch": 0.09, |
|
"learning_rate": 4.8466666666666675e-05, |
|
"loss": 1.6858, |
|
"step": 230 |
|
}, |
|
{ |
|
"epoch": 0.1, |
|
"learning_rate": 4.8400000000000004e-05, |
|
"loss": 1.6609, |
|
"step": 240 |
|
}, |
|
{ |
|
"epoch": 0.1, |
|
"learning_rate": 4.8333333333333334e-05, |
|
"loss": 1.7035, |
|
"step": 250 |
|
}, |
|
{ |
|
"epoch": 0.1, |
|
"learning_rate": 4.826666666666667e-05, |
|
"loss": 1.6404, |
|
"step": 260 |
|
}, |
|
{ |
|
"epoch": 0.11, |
|
"learning_rate": 4.82e-05, |
|
"loss": 1.7078, |
|
"step": 270 |
|
}, |
|
{ |
|
"epoch": 0.11, |
|
"learning_rate": 4.8133333333333336e-05, |
|
"loss": 1.6793, |
|
"step": 280 |
|
}, |
|
{ |
|
"epoch": 0.12, |
|
"learning_rate": 4.806666666666667e-05, |
|
"loss": 1.7424, |
|
"step": 290 |
|
}, |
|
{ |
|
"epoch": 0.12, |
|
"learning_rate": 4.8e-05, |
|
"loss": 1.7583, |
|
"step": 300 |
|
}, |
|
{ |
|
"epoch": 0.12, |
|
"learning_rate": 4.793333333333334e-05, |
|
"loss": 1.6829, |
|
"step": 310 |
|
}, |
|
{ |
|
"epoch": 0.13, |
|
"learning_rate": 4.7866666666666674e-05, |
|
"loss": 1.6784, |
|
"step": 320 |
|
}, |
|
{ |
|
"epoch": 0.13, |
|
"learning_rate": 4.78e-05, |
|
"loss": 1.6492, |
|
"step": 330 |
|
}, |
|
{ |
|
"epoch": 0.14, |
|
"learning_rate": 4.773333333333333e-05, |
|
"loss": 1.6671, |
|
"step": 340 |
|
}, |
|
{ |
|
"epoch": 0.14, |
|
"learning_rate": 4.766666666666667e-05, |
|
"loss": 1.654, |
|
"step": 350 |
|
}, |
|
{ |
|
"epoch": 0.14, |
|
"learning_rate": 4.76e-05, |
|
"loss": 1.6757, |
|
"step": 360 |
|
}, |
|
{ |
|
"epoch": 0.15, |
|
"learning_rate": 4.7533333333333334e-05, |
|
"loss": 1.6773, |
|
"step": 370 |
|
}, |
|
{ |
|
"epoch": 0.15, |
|
"learning_rate": 4.746666666666667e-05, |
|
"loss": 1.7059, |
|
"step": 380 |
|
}, |
|
{ |
|
"epoch": 0.16, |
|
"learning_rate": 4.74e-05, |
|
"loss": 1.6821, |
|
"step": 390 |
|
}, |
|
{ |
|
"epoch": 0.16, |
|
"learning_rate": 4.7333333333333336e-05, |
|
"loss": 1.6837, |
|
"step": 400 |
|
}, |
|
{ |
|
"epoch": 0.16, |
|
"learning_rate": 4.726666666666667e-05, |
|
"loss": 1.7124, |
|
"step": 410 |
|
}, |
|
{ |
|
"epoch": 0.17, |
|
"learning_rate": 4.72e-05, |
|
"loss": 1.6955, |
|
"step": 420 |
|
}, |
|
{ |
|
"epoch": 0.17, |
|
"learning_rate": 4.713333333333333e-05, |
|
"loss": 1.6974, |
|
"step": 430 |
|
}, |
|
{ |
|
"epoch": 0.18, |
|
"learning_rate": 4.706666666666667e-05, |
|
"loss": 1.6789, |
|
"step": 440 |
|
}, |
|
{ |
|
"epoch": 0.18, |
|
"learning_rate": 4.7e-05, |
|
"loss": 1.6621, |
|
"step": 450 |
|
}, |
|
{ |
|
"epoch": 0.18, |
|
"learning_rate": 4.6933333333333333e-05, |
|
"loss": 1.6727, |
|
"step": 460 |
|
}, |
|
{ |
|
"epoch": 0.19, |
|
"learning_rate": 4.686666666666667e-05, |
|
"loss": 1.6768, |
|
"step": 470 |
|
}, |
|
{ |
|
"epoch": 0.19, |
|
"learning_rate": 4.6800000000000006e-05, |
|
"loss": 1.6934, |
|
"step": 480 |
|
}, |
|
{ |
|
"epoch": 0.2, |
|
"learning_rate": 4.6733333333333335e-05, |
|
"loss": 1.6929, |
|
"step": 490 |
|
}, |
|
{ |
|
"epoch": 0.2, |
|
"learning_rate": 4.666666666666667e-05, |
|
"loss": 1.6733, |
|
"step": 500 |
|
}, |
|
{ |
|
"epoch": 0.2, |
|
"learning_rate": 4.660000000000001e-05, |
|
"loss": 1.691, |
|
"step": 510 |
|
}, |
|
{ |
|
"epoch": 0.21, |
|
"learning_rate": 4.653333333333334e-05, |
|
"loss": 1.6936, |
|
"step": 520 |
|
}, |
|
{ |
|
"epoch": 0.21, |
|
"learning_rate": 4.646666666666667e-05, |
|
"loss": 1.7187, |
|
"step": 530 |
|
}, |
|
{ |
|
"epoch": 0.22, |
|
"learning_rate": 4.64e-05, |
|
"loss": 1.6836, |
|
"step": 540 |
|
}, |
|
{ |
|
"epoch": 0.22, |
|
"learning_rate": 4.633333333333333e-05, |
|
"loss": 1.688, |
|
"step": 550 |
|
}, |
|
{ |
|
"epoch": 0.22, |
|
"learning_rate": 4.626666666666667e-05, |
|
"loss": 1.6684, |
|
"step": 560 |
|
}, |
|
{ |
|
"epoch": 0.23, |
|
"learning_rate": 4.6200000000000005e-05, |
|
"loss": 1.7073, |
|
"step": 570 |
|
}, |
|
{ |
|
"epoch": 0.23, |
|
"learning_rate": 4.6133333333333334e-05, |
|
"loss": 1.6818, |
|
"step": 580 |
|
}, |
|
{ |
|
"epoch": 0.24, |
|
"learning_rate": 4.606666666666667e-05, |
|
"loss": 1.6888, |
|
"step": 590 |
|
}, |
|
{ |
|
"epoch": 0.24, |
|
"learning_rate": 4.600000000000001e-05, |
|
"loss": 1.6908, |
|
"step": 600 |
|
}, |
|
{ |
|
"epoch": 0.24, |
|
"learning_rate": 4.5933333333333336e-05, |
|
"loss": 1.676, |
|
"step": 610 |
|
}, |
|
{ |
|
"epoch": 0.25, |
|
"learning_rate": 4.5866666666666666e-05, |
|
"loss": 1.6663, |
|
"step": 620 |
|
}, |
|
{ |
|
"epoch": 0.25, |
|
"learning_rate": 4.58e-05, |
|
"loss": 1.6866, |
|
"step": 630 |
|
}, |
|
{ |
|
"epoch": 0.26, |
|
"learning_rate": 4.573333333333333e-05, |
|
"loss": 1.6776, |
|
"step": 640 |
|
}, |
|
{ |
|
"epoch": 0.26, |
|
"learning_rate": 4.566666666666667e-05, |
|
"loss": 1.6794, |
|
"step": 650 |
|
}, |
|
{ |
|
"epoch": 0.26, |
|
"learning_rate": 4.5600000000000004e-05, |
|
"loss": 1.6877, |
|
"step": 660 |
|
}, |
|
{ |
|
"epoch": 0.27, |
|
"learning_rate": 4.553333333333333e-05, |
|
"loss": 1.6606, |
|
"step": 670 |
|
}, |
|
{ |
|
"epoch": 0.27, |
|
"learning_rate": 4.546666666666667e-05, |
|
"loss": 1.6562, |
|
"step": 680 |
|
}, |
|
{ |
|
"epoch": 0.28, |
|
"learning_rate": 4.5400000000000006e-05, |
|
"loss": 1.7273, |
|
"step": 690 |
|
}, |
|
{ |
|
"epoch": 0.28, |
|
"learning_rate": 4.5333333333333335e-05, |
|
"loss": 1.6814, |
|
"step": 700 |
|
}, |
|
{ |
|
"epoch": 0.28, |
|
"learning_rate": 4.526666666666667e-05, |
|
"loss": 1.6713, |
|
"step": 710 |
|
}, |
|
{ |
|
"epoch": 0.29, |
|
"learning_rate": 4.52e-05, |
|
"loss": 1.6801, |
|
"step": 720 |
|
}, |
|
{ |
|
"epoch": 0.29, |
|
"learning_rate": 4.513333333333333e-05, |
|
"loss": 1.6548, |
|
"step": 730 |
|
}, |
|
{ |
|
"epoch": 0.3, |
|
"learning_rate": 4.5066666666666667e-05, |
|
"loss": 1.7015, |
|
"step": 740 |
|
}, |
|
{ |
|
"epoch": 0.3, |
|
"learning_rate": 4.5e-05, |
|
"loss": 1.6673, |
|
"step": 750 |
|
}, |
|
{ |
|
"epoch": 0.3, |
|
"learning_rate": 4.493333333333333e-05, |
|
"loss": 1.6676, |
|
"step": 760 |
|
}, |
|
{ |
|
"epoch": 0.31, |
|
"learning_rate": 4.486666666666667e-05, |
|
"loss": 1.6878, |
|
"step": 770 |
|
}, |
|
{ |
|
"epoch": 0.31, |
|
"learning_rate": 4.4800000000000005e-05, |
|
"loss": 1.6572, |
|
"step": 780 |
|
}, |
|
{ |
|
"epoch": 0.32, |
|
"learning_rate": 4.473333333333334e-05, |
|
"loss": 1.6528, |
|
"step": 790 |
|
}, |
|
{ |
|
"epoch": 0.32, |
|
"learning_rate": 4.466666666666667e-05, |
|
"loss": 1.6821, |
|
"step": 800 |
|
}, |
|
{ |
|
"epoch": 0.32, |
|
"learning_rate": 4.46e-05, |
|
"loss": 1.6867, |
|
"step": 810 |
|
}, |
|
{ |
|
"epoch": 0.33, |
|
"learning_rate": 4.4533333333333336e-05, |
|
"loss": 1.6471, |
|
"step": 820 |
|
}, |
|
{ |
|
"epoch": 0.33, |
|
"learning_rate": 4.4466666666666666e-05, |
|
"loss": 1.7004, |
|
"step": 830 |
|
}, |
|
{ |
|
"epoch": 0.34, |
|
"learning_rate": 4.44e-05, |
|
"loss": 1.6554, |
|
"step": 840 |
|
}, |
|
{ |
|
"epoch": 0.34, |
|
"learning_rate": 4.433333333333334e-05, |
|
"loss": 1.678, |
|
"step": 850 |
|
}, |
|
{ |
|
"epoch": 0.34, |
|
"learning_rate": 4.426666666666667e-05, |
|
"loss": 1.6848, |
|
"step": 860 |
|
}, |
|
{ |
|
"epoch": 0.35, |
|
"learning_rate": 4.4200000000000004e-05, |
|
"loss": 1.6384, |
|
"step": 870 |
|
}, |
|
{ |
|
"epoch": 0.35, |
|
"learning_rate": 4.413333333333334e-05, |
|
"loss": 1.6812, |
|
"step": 880 |
|
}, |
|
{ |
|
"epoch": 0.36, |
|
"learning_rate": 4.406666666666667e-05, |
|
"loss": 1.6582, |
|
"step": 890 |
|
}, |
|
{ |
|
"epoch": 0.36, |
|
"learning_rate": 4.4000000000000006e-05, |
|
"loss": 1.6879, |
|
"step": 900 |
|
}, |
|
{ |
|
"epoch": 0.36, |
|
"learning_rate": 4.3933333333333335e-05, |
|
"loss": 1.6886, |
|
"step": 910 |
|
}, |
|
{ |
|
"epoch": 0.37, |
|
"learning_rate": 4.3866666666666665e-05, |
|
"loss": 1.6846, |
|
"step": 920 |
|
}, |
|
{ |
|
"epoch": 0.37, |
|
"learning_rate": 4.38e-05, |
|
"loss": 1.6576, |
|
"step": 930 |
|
}, |
|
{ |
|
"epoch": 0.38, |
|
"learning_rate": 4.373333333333334e-05, |
|
"loss": 1.6965, |
|
"step": 940 |
|
}, |
|
{ |
|
"epoch": 0.38, |
|
"learning_rate": 4.3666666666666666e-05, |
|
"loss": 1.7173, |
|
"step": 950 |
|
}, |
|
{ |
|
"epoch": 0.38, |
|
"learning_rate": 4.36e-05, |
|
"loss": 1.6625, |
|
"step": 960 |
|
}, |
|
{ |
|
"epoch": 0.39, |
|
"learning_rate": 4.353333333333334e-05, |
|
"loss": 1.6761, |
|
"step": 970 |
|
}, |
|
{ |
|
"epoch": 0.39, |
|
"learning_rate": 4.346666666666667e-05, |
|
"loss": 1.6697, |
|
"step": 980 |
|
}, |
|
{ |
|
"epoch": 0.4, |
|
"learning_rate": 4.3400000000000005e-05, |
|
"loss": 1.6903, |
|
"step": 990 |
|
}, |
|
{ |
|
"epoch": 0.4, |
|
"learning_rate": 4.3333333333333334e-05, |
|
"loss": 1.6681, |
|
"step": 1000 |
|
} |
|
], |
|
"logging_steps": 10, |
|
"max_steps": 7500, |
|
"num_input_tokens_seen": 0, |
|
"num_train_epochs": 3, |
|
"save_steps": 1000, |
|
"total_flos": 6.3202482192384e+17, |
|
"train_batch_size": 4, |
|
"trial_name": null, |
|
"trial_params": null |
|
} |
|
|