| { | |
| "best_metric": 0.7368421052631579, | |
| "best_model_checkpoint": "MAE-CT-CPC-Dicotomized-n0-m1-d1-v9/checkpoint-735", | |
| "epoch": 48.02, | |
| "eval_steps": 500, | |
| "global_step": 2400, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.004166666666666667, | |
| "grad_norm": 2.6540045738220215, | |
| "learning_rate": 4.1666666666666667e-07, | |
| "loss": 0.6936, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.008333333333333333, | |
| "grad_norm": 3.005134344100952, | |
| "learning_rate": 8.333333333333333e-07, | |
| "loss": 0.6954, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.0125, | |
| "grad_norm": 2.9051997661590576, | |
| "learning_rate": 1.25e-06, | |
| "loss": 0.6957, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.016666666666666666, | |
| "grad_norm": 5.865764617919922, | |
| "learning_rate": 1.6666666666666667e-06, | |
| "loss": 0.6819, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.020416666666666666, | |
| "eval_accuracy": 0.5789473684210527, | |
| "eval_loss": 0.6640610694885254, | |
| "eval_runtime": 4.1603, | |
| "eval_samples_per_second": 4.567, | |
| "eval_steps_per_second": 1.202, | |
| "step": 49 | |
| }, | |
| { | |
| "epoch": 1.0004166666666667, | |
| "grad_norm": 2.7976856231689453, | |
| "learning_rate": 2.0833333333333334e-06, | |
| "loss": 0.6419, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 1.0045833333333334, | |
| "grad_norm": 4.449363708496094, | |
| "learning_rate": 2.5e-06, | |
| "loss": 0.6596, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 1.00875, | |
| "grad_norm": 3.9453043937683105, | |
| "learning_rate": 2.916666666666667e-06, | |
| "loss": 0.7489, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 1.0129166666666667, | |
| "grad_norm": 4.261590480804443, | |
| "learning_rate": 3.3333333333333333e-06, | |
| "loss": 0.6614, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 1.0170833333333333, | |
| "grad_norm": 8.211638450622559, | |
| "learning_rate": 3.7500000000000005e-06, | |
| "loss": 0.6201, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 1.0204166666666667, | |
| "eval_accuracy": 0.5789473684210527, | |
| "eval_loss": 0.6367576718330383, | |
| "eval_runtime": 3.6676, | |
| "eval_samples_per_second": 5.181, | |
| "eval_steps_per_second": 1.363, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 2.0008333333333335, | |
| "grad_norm": 5.028270244598389, | |
| "learning_rate": 4.166666666666667e-06, | |
| "loss": 0.6964, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 2.005, | |
| "grad_norm": 4.883535861968994, | |
| "learning_rate": 4.583333333333333e-06, | |
| "loss": 0.6823, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 2.0091666666666668, | |
| "grad_norm": 13.357542037963867, | |
| "learning_rate": 5e-06, | |
| "loss": 0.6742, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 2.013333333333333, | |
| "grad_norm": 6.5849480628967285, | |
| "learning_rate": 5.416666666666667e-06, | |
| "loss": 0.5546, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 2.0175, | |
| "grad_norm": 5.240979194641113, | |
| "learning_rate": 5.833333333333334e-06, | |
| "loss": 0.6787, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 2.0204166666666667, | |
| "eval_accuracy": 0.5789473684210527, | |
| "eval_loss": 0.6108768582344055, | |
| "eval_runtime": 3.6774, | |
| "eval_samples_per_second": 5.167, | |
| "eval_steps_per_second": 1.36, | |
| "step": 147 | |
| }, | |
| { | |
| "epoch": 3.00125, | |
| "grad_norm": 7.692701816558838, | |
| "learning_rate": 6.25e-06, | |
| "loss": 0.7031, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 3.0054166666666666, | |
| "grad_norm": 2.450507164001465, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 0.6611, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 3.0095833333333335, | |
| "grad_norm": 7.620597839355469, | |
| "learning_rate": 7.083333333333335e-06, | |
| "loss": 0.6429, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 3.01375, | |
| "grad_norm": 8.6759033203125, | |
| "learning_rate": 7.500000000000001e-06, | |
| "loss": 0.6269, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 3.017916666666667, | |
| "grad_norm": 8.059222221374512, | |
| "learning_rate": 7.916666666666667e-06, | |
| "loss": 0.6484, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 3.0204166666666667, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 0.6304681897163391, | |
| "eval_runtime": 3.616, | |
| "eval_samples_per_second": 5.254, | |
| "eval_steps_per_second": 1.383, | |
| "step": 196 | |
| }, | |
| { | |
| "epoch": 4.001666666666667, | |
| "grad_norm": 7.98549222946167, | |
| "learning_rate": 8.333333333333334e-06, | |
| "loss": 0.6938, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 4.005833333333333, | |
| "grad_norm": 8.134982109069824, | |
| "learning_rate": 8.750000000000001e-06, | |
| "loss": 0.5986, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 4.01, | |
| "grad_norm": 15.768097877502441, | |
| "learning_rate": 9.166666666666666e-06, | |
| "loss": 0.3969, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 4.014166666666667, | |
| "grad_norm": 11.637251853942871, | |
| "learning_rate": 9.583333333333335e-06, | |
| "loss": 0.6835, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 4.0183333333333335, | |
| "grad_norm": 63.66741180419922, | |
| "learning_rate": 1e-05, | |
| "loss": 0.6357, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 4.020416666666667, | |
| "eval_accuracy": 0.5263157894736842, | |
| "eval_loss": 0.6793826818466187, | |
| "eval_runtime": 3.6154, | |
| "eval_samples_per_second": 5.255, | |
| "eval_steps_per_second": 1.383, | |
| "step": 245 | |
| }, | |
| { | |
| "epoch": 5.002083333333333, | |
| "grad_norm": 10.716292381286621, | |
| "learning_rate": 9.953703703703704e-06, | |
| "loss": 0.6267, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 5.00625, | |
| "grad_norm": 10.738350868225098, | |
| "learning_rate": 9.907407407407408e-06, | |
| "loss": 0.6908, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 5.010416666666667, | |
| "grad_norm": 7.5224690437316895, | |
| "learning_rate": 9.861111111111112e-06, | |
| "loss": 0.6093, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 5.014583333333333, | |
| "grad_norm": 15.3920259475708, | |
| "learning_rate": 9.814814814814815e-06, | |
| "loss": 0.5489, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 5.01875, | |
| "grad_norm": 17.959043502807617, | |
| "learning_rate": 9.768518518518519e-06, | |
| "loss": 0.5692, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 5.020416666666667, | |
| "eval_accuracy": 0.5263157894736842, | |
| "eval_loss": 0.6937870979309082, | |
| "eval_runtime": 3.6363, | |
| "eval_samples_per_second": 5.225, | |
| "eval_steps_per_second": 1.375, | |
| "step": 294 | |
| }, | |
| { | |
| "epoch": 6.0025, | |
| "grad_norm": 22.7791690826416, | |
| "learning_rate": 9.722222222222223e-06, | |
| "loss": 0.6108, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 6.006666666666667, | |
| "grad_norm": 12.141826629638672, | |
| "learning_rate": 9.675925925925926e-06, | |
| "loss": 0.7977, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 6.010833333333333, | |
| "grad_norm": 14.286447525024414, | |
| "learning_rate": 9.62962962962963e-06, | |
| "loss": 0.5559, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 6.015, | |
| "grad_norm": 12.041421890258789, | |
| "learning_rate": 9.583333333333335e-06, | |
| "loss": 0.5921, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 6.019166666666667, | |
| "grad_norm": 14.011693000793457, | |
| "learning_rate": 9.537037037037037e-06, | |
| "loss": 0.658, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 6.020416666666667, | |
| "eval_accuracy": 0.5789473684210527, | |
| "eval_loss": 0.6696313619613647, | |
| "eval_runtime": 3.7127, | |
| "eval_samples_per_second": 5.118, | |
| "eval_steps_per_second": 1.347, | |
| "step": 343 | |
| }, | |
| { | |
| "epoch": 7.002916666666667, | |
| "grad_norm": 5.979766845703125, | |
| "learning_rate": 9.490740740740741e-06, | |
| "loss": 0.5175, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 7.007083333333333, | |
| "grad_norm": 10.06272029876709, | |
| "learning_rate": 9.444444444444445e-06, | |
| "loss": 0.5399, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 7.01125, | |
| "grad_norm": 6.3305983543396, | |
| "learning_rate": 9.398148148148148e-06, | |
| "loss": 0.4964, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 7.015416666666667, | |
| "grad_norm": 10.718533515930176, | |
| "learning_rate": 9.351851851851854e-06, | |
| "loss": 0.4526, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 7.019583333333333, | |
| "grad_norm": 10.034852981567383, | |
| "learning_rate": 9.305555555555557e-06, | |
| "loss": 0.5112, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 7.020416666666667, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 0.566916823387146, | |
| "eval_runtime": 3.6949, | |
| "eval_samples_per_second": 5.142, | |
| "eval_steps_per_second": 1.353, | |
| "step": 392 | |
| }, | |
| { | |
| "epoch": 8.003333333333334, | |
| "grad_norm": 12.490917205810547, | |
| "learning_rate": 9.25925925925926e-06, | |
| "loss": 0.7497, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 8.0075, | |
| "grad_norm": 9.842666625976562, | |
| "learning_rate": 9.212962962962963e-06, | |
| "loss": 0.4709, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 8.011666666666667, | |
| "grad_norm": 18.18292236328125, | |
| "learning_rate": 9.166666666666666e-06, | |
| "loss": 0.4979, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 8.015833333333333, | |
| "grad_norm": 18.306493759155273, | |
| "learning_rate": 9.120370370370372e-06, | |
| "loss": 0.4218, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 8.02, | |
| "grad_norm": 1.3783447742462158, | |
| "learning_rate": 9.074074074074075e-06, | |
| "loss": 0.3719, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 8.020416666666666, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 0.8023158311843872, | |
| "eval_runtime": 3.6756, | |
| "eval_samples_per_second": 5.169, | |
| "eval_steps_per_second": 1.36, | |
| "step": 441 | |
| }, | |
| { | |
| "epoch": 9.00375, | |
| "grad_norm": 43.830078125, | |
| "learning_rate": 9.027777777777779e-06, | |
| "loss": 0.4791, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 9.007916666666667, | |
| "grad_norm": 13.223751068115234, | |
| "learning_rate": 8.981481481481483e-06, | |
| "loss": 0.623, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 9.012083333333333, | |
| "grad_norm": 48.20356369018555, | |
| "learning_rate": 8.935185185185186e-06, | |
| "loss": 0.3433, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 9.01625, | |
| "grad_norm": 12.939654350280762, | |
| "learning_rate": 8.888888888888888e-06, | |
| "loss": 0.4031, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 9.020416666666666, | |
| "grad_norm": 12.470285415649414, | |
| "learning_rate": 8.842592592592594e-06, | |
| "loss": 0.4573, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 9.020416666666666, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 0.5990714430809021, | |
| "eval_runtime": 3.6148, | |
| "eval_samples_per_second": 5.256, | |
| "eval_steps_per_second": 1.383, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 10.004166666666666, | |
| "grad_norm": 5.166864395141602, | |
| "learning_rate": 8.796296296296297e-06, | |
| "loss": 0.3944, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 10.008333333333333, | |
| "grad_norm": 36.93327331542969, | |
| "learning_rate": 8.750000000000001e-06, | |
| "loss": 0.2934, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 10.0125, | |
| "grad_norm": 2.9084632396698, | |
| "learning_rate": 8.703703703703705e-06, | |
| "loss": 0.3113, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 10.016666666666667, | |
| "grad_norm": 25.439733505249023, | |
| "learning_rate": 8.657407407407408e-06, | |
| "loss": 0.2915, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 10.020416666666666, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 0.7898865938186646, | |
| "eval_runtime": 3.6535, | |
| "eval_samples_per_second": 5.2, | |
| "eval_steps_per_second": 1.369, | |
| "step": 539 | |
| }, | |
| { | |
| "epoch": 11.000416666666666, | |
| "grad_norm": 46.3503532409668, | |
| "learning_rate": 8.611111111111112e-06, | |
| "loss": 0.5269, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 11.004583333333333, | |
| "grad_norm": 0.9184814095497131, | |
| "learning_rate": 8.564814814814816e-06, | |
| "loss": 0.2812, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 11.00875, | |
| "grad_norm": 0.12803786993026733, | |
| "learning_rate": 8.518518518518519e-06, | |
| "loss": 0.6738, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 11.012916666666667, | |
| "grad_norm": 6.100522518157959, | |
| "learning_rate": 8.472222222222223e-06, | |
| "loss": 0.4429, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 11.017083333333334, | |
| "grad_norm": 57.438533782958984, | |
| "learning_rate": 8.425925925925926e-06, | |
| "loss": 0.3723, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 11.020416666666666, | |
| "eval_accuracy": 0.5263157894736842, | |
| "eval_loss": 0.9848392605781555, | |
| "eval_runtime": 3.676, | |
| "eval_samples_per_second": 5.169, | |
| "eval_steps_per_second": 1.36, | |
| "step": 588 | |
| }, | |
| { | |
| "epoch": 12.000833333333333, | |
| "grad_norm": 39.162044525146484, | |
| "learning_rate": 8.37962962962963e-06, | |
| "loss": 0.3971, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 12.005, | |
| "grad_norm": 2.6625895500183105, | |
| "learning_rate": 8.333333333333334e-06, | |
| "loss": 0.423, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 12.009166666666667, | |
| "grad_norm": 64.04193878173828, | |
| "learning_rate": 8.287037037037037e-06, | |
| "loss": 0.5011, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 12.013333333333334, | |
| "grad_norm": 3.9968278408050537, | |
| "learning_rate": 8.240740740740741e-06, | |
| "loss": 0.3497, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 12.0175, | |
| "grad_norm": 0.1798192709684372, | |
| "learning_rate": 8.194444444444445e-06, | |
| "loss": 0.1372, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 12.020416666666666, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 0.9509623646736145, | |
| "eval_runtime": 3.68, | |
| "eval_samples_per_second": 5.163, | |
| "eval_steps_per_second": 1.359, | |
| "step": 637 | |
| }, | |
| { | |
| "epoch": 13.00125, | |
| "grad_norm": 0.18710507452487946, | |
| "learning_rate": 8.148148148148148e-06, | |
| "loss": 0.3299, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 13.005416666666667, | |
| "grad_norm": 0.11506196111440659, | |
| "learning_rate": 8.101851851851854e-06, | |
| "loss": 0.3919, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 13.009583333333333, | |
| "grad_norm": 27.668811798095703, | |
| "learning_rate": 8.055555555555557e-06, | |
| "loss": 0.1775, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 13.01375, | |
| "grad_norm": 75.68840026855469, | |
| "learning_rate": 8.00925925925926e-06, | |
| "loss": 0.2991, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 13.017916666666666, | |
| "grad_norm": 0.38133883476257324, | |
| "learning_rate": 7.962962962962963e-06, | |
| "loss": 0.0066, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 13.020416666666666, | |
| "eval_accuracy": 0.5789473684210527, | |
| "eval_loss": 1.1871516704559326, | |
| "eval_runtime": 3.6868, | |
| "eval_samples_per_second": 5.154, | |
| "eval_steps_per_second": 1.356, | |
| "step": 686 | |
| }, | |
| { | |
| "epoch": 14.001666666666667, | |
| "grad_norm": 3.5586605072021484, | |
| "learning_rate": 7.916666666666667e-06, | |
| "loss": 0.3722, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 14.005833333333333, | |
| "grad_norm": 3.2339565753936768, | |
| "learning_rate": 7.870370370370372e-06, | |
| "loss": 0.1984, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 14.01, | |
| "grad_norm": 0.06678327918052673, | |
| "learning_rate": 7.824074074074076e-06, | |
| "loss": 0.0981, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 14.014166666666666, | |
| "grad_norm": 0.2941597104072571, | |
| "learning_rate": 7.77777777777778e-06, | |
| "loss": 0.5156, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 14.018333333333333, | |
| "grad_norm": 0.2059919536113739, | |
| "learning_rate": 7.731481481481483e-06, | |
| "loss": 0.2218, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 14.020416666666666, | |
| "eval_accuracy": 0.7368421052631579, | |
| "eval_loss": 1.1691995859146118, | |
| "eval_runtime": 3.7567, | |
| "eval_samples_per_second": 5.058, | |
| "eval_steps_per_second": 1.331, | |
| "step": 735 | |
| }, | |
| { | |
| "epoch": 15.002083333333333, | |
| "grad_norm": 0.07924695312976837, | |
| "learning_rate": 7.685185185185185e-06, | |
| "loss": 0.2093, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 15.00625, | |
| "grad_norm": 24.16701316833496, | |
| "learning_rate": 7.638888888888888e-06, | |
| "loss": 0.4067, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 15.010416666666666, | |
| "grad_norm": 0.2460525929927826, | |
| "learning_rate": 7.592592592592594e-06, | |
| "loss": 0.3083, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 15.014583333333333, | |
| "grad_norm": 0.8729657530784607, | |
| "learning_rate": 7.546296296296297e-06, | |
| "loss": 0.1764, | |
| "step": 770 | |
| }, | |
| { | |
| "epoch": 15.01875, | |
| "grad_norm": 107.28450775146484, | |
| "learning_rate": 7.500000000000001e-06, | |
| "loss": 0.7666, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 15.020416666666666, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 1.112523078918457, | |
| "eval_runtime": 3.7224, | |
| "eval_samples_per_second": 5.104, | |
| "eval_steps_per_second": 1.343, | |
| "step": 784 | |
| }, | |
| { | |
| "epoch": 16.0025, | |
| "grad_norm": 0.05592398717999458, | |
| "learning_rate": 7.453703703703704e-06, | |
| "loss": 0.1058, | |
| "step": 790 | |
| }, | |
| { | |
| "epoch": 16.006666666666668, | |
| "grad_norm": 0.2081090658903122, | |
| "learning_rate": 7.4074074074074075e-06, | |
| "loss": 0.1724, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 16.010833333333334, | |
| "grad_norm": 0.08229461312294006, | |
| "learning_rate": 7.361111111111112e-06, | |
| "loss": 0.0088, | |
| "step": 810 | |
| }, | |
| { | |
| "epoch": 16.015, | |
| "grad_norm": 2.331199884414673, | |
| "learning_rate": 7.314814814814816e-06, | |
| "loss": 0.0636, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 16.019166666666667, | |
| "grad_norm": 15.751022338867188, | |
| "learning_rate": 7.268518518518519e-06, | |
| "loss": 0.2171, | |
| "step": 830 | |
| }, | |
| { | |
| "epoch": 16.020416666666666, | |
| "eval_accuracy": 0.7368421052631579, | |
| "eval_loss": 1.2614731788635254, | |
| "eval_runtime": 3.6912, | |
| "eval_samples_per_second": 5.147, | |
| "eval_steps_per_second": 1.355, | |
| "step": 833 | |
| }, | |
| { | |
| "epoch": 17.002916666666668, | |
| "grad_norm": 0.13139835000038147, | |
| "learning_rate": 7.222222222222223e-06, | |
| "loss": 0.0529, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 17.007083333333334, | |
| "grad_norm": 146.87222290039062, | |
| "learning_rate": 7.1759259259259266e-06, | |
| "loss": 0.2678, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 17.01125, | |
| "grad_norm": 350.3876953125, | |
| "learning_rate": 7.129629629629629e-06, | |
| "loss": 0.217, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 17.015416666666667, | |
| "grad_norm": 0.5063939094543457, | |
| "learning_rate": 7.083333333333335e-06, | |
| "loss": 0.0078, | |
| "step": 870 | |
| }, | |
| { | |
| "epoch": 17.019583333333333, | |
| "grad_norm": 247.79161071777344, | |
| "learning_rate": 7.0370370370370375e-06, | |
| "loss": 0.1152, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 17.020416666666666, | |
| "eval_accuracy": 0.7368421052631579, | |
| "eval_loss": 1.3682870864868164, | |
| "eval_runtime": 3.6816, | |
| "eval_samples_per_second": 5.161, | |
| "eval_steps_per_second": 1.358, | |
| "step": 882 | |
| }, | |
| { | |
| "epoch": 18.003333333333334, | |
| "grad_norm": 0.03123622015118599, | |
| "learning_rate": 6.990740740740741e-06, | |
| "loss": 0.3538, | |
| "step": 890 | |
| }, | |
| { | |
| "epoch": 18.0075, | |
| "grad_norm": 0.6689489483833313, | |
| "learning_rate": 6.944444444444445e-06, | |
| "loss": 0.1337, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 18.011666666666667, | |
| "grad_norm": 120.35101318359375, | |
| "learning_rate": 6.898148148148148e-06, | |
| "loss": 0.2021, | |
| "step": 910 | |
| }, | |
| { | |
| "epoch": 18.015833333333333, | |
| "grad_norm": 6.242348670959473, | |
| "learning_rate": 6.851851851851853e-06, | |
| "loss": 0.1344, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 18.02, | |
| "grad_norm": 0.015488705597817898, | |
| "learning_rate": 6.8055555555555566e-06, | |
| "loss": 0.1941, | |
| "step": 930 | |
| }, | |
| { | |
| "epoch": 18.020416666666666, | |
| "eval_accuracy": 0.7368421052631579, | |
| "eval_loss": 1.391472578048706, | |
| "eval_runtime": 3.6708, | |
| "eval_samples_per_second": 5.176, | |
| "eval_steps_per_second": 1.362, | |
| "step": 931 | |
| }, | |
| { | |
| "epoch": 19.00375, | |
| "grad_norm": 107.10614013671875, | |
| "learning_rate": 6.75925925925926e-06, | |
| "loss": 0.0318, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 19.007916666666667, | |
| "grad_norm": 0.07496990263462067, | |
| "learning_rate": 6.712962962962963e-06, | |
| "loss": 0.0013, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 19.012083333333333, | |
| "grad_norm": 0.028873112052679062, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 0.2196, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 19.01625, | |
| "grad_norm": 0.06660551577806473, | |
| "learning_rate": 6.620370370370371e-06, | |
| "loss": 0.0014, | |
| "step": 970 | |
| }, | |
| { | |
| "epoch": 19.020416666666666, | |
| "grad_norm": 89.06936645507812, | |
| "learning_rate": 6.574074074074075e-06, | |
| "loss": 0.0233, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 19.020416666666666, | |
| "eval_accuracy": 0.5789473684210527, | |
| "eval_loss": 1.5971713066101074, | |
| "eval_runtime": 3.6747, | |
| "eval_samples_per_second": 5.171, | |
| "eval_steps_per_second": 1.361, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 20.004166666666666, | |
| "grad_norm": 12.551525115966797, | |
| "learning_rate": 6.5277777777777784e-06, | |
| "loss": 0.1686, | |
| "step": 990 | |
| }, | |
| { | |
| "epoch": 20.008333333333333, | |
| "grad_norm": 1.433871865272522, | |
| "learning_rate": 6.481481481481482e-06, | |
| "loss": 0.1168, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 20.0125, | |
| "grad_norm": 0.3970452547073364, | |
| "learning_rate": 6.435185185185186e-06, | |
| "loss": 0.2299, | |
| "step": 1010 | |
| }, | |
| { | |
| "epoch": 20.016666666666666, | |
| "grad_norm": 198.20985412597656, | |
| "learning_rate": 6.3888888888888885e-06, | |
| "loss": 0.2367, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 20.020416666666666, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 1.7444992065429688, | |
| "eval_runtime": 3.6107, | |
| "eval_samples_per_second": 5.262, | |
| "eval_steps_per_second": 1.385, | |
| "step": 1029 | |
| }, | |
| { | |
| "epoch": 21.000416666666666, | |
| "grad_norm": 11.477893829345703, | |
| "learning_rate": 6.342592592592594e-06, | |
| "loss": 0.0874, | |
| "step": 1030 | |
| }, | |
| { | |
| "epoch": 21.004583333333333, | |
| "grad_norm": 0.04803403466939926, | |
| "learning_rate": 6.296296296296297e-06, | |
| "loss": 0.0026, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 21.00875, | |
| "grad_norm": 235.3900604248047, | |
| "learning_rate": 6.25e-06, | |
| "loss": 0.0272, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 21.012916666666666, | |
| "grad_norm": 0.027185214683413506, | |
| "learning_rate": 6.203703703703704e-06, | |
| "loss": 0.1929, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 21.017083333333332, | |
| "grad_norm": 1.3234747648239136, | |
| "learning_rate": 6.157407407407408e-06, | |
| "loss": 0.1575, | |
| "step": 1070 | |
| }, | |
| { | |
| "epoch": 21.020416666666666, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 2.403568744659424, | |
| "eval_runtime": 3.6124, | |
| "eval_samples_per_second": 5.26, | |
| "eval_steps_per_second": 1.384, | |
| "step": 1078 | |
| }, | |
| { | |
| "epoch": 22.000833333333333, | |
| "grad_norm": 0.030825955793261528, | |
| "learning_rate": 6.111111111111112e-06, | |
| "loss": 0.0207, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 22.005, | |
| "grad_norm": 0.044659119099378586, | |
| "learning_rate": 6.064814814814816e-06, | |
| "loss": 0.1655, | |
| "step": 1090 | |
| }, | |
| { | |
| "epoch": 22.009166666666665, | |
| "grad_norm": 0.07954849302768707, | |
| "learning_rate": 6.018518518518519e-06, | |
| "loss": 0.0036, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 22.013333333333332, | |
| "grad_norm": 0.3902687132358551, | |
| "learning_rate": 5.972222222222222e-06, | |
| "loss": 0.0029, | |
| "step": 1110 | |
| }, | |
| { | |
| "epoch": 22.0175, | |
| "grad_norm": 0.1071692705154419, | |
| "learning_rate": 5.925925925925926e-06, | |
| "loss": 0.0008, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 22.020416666666666, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 2.263265609741211, | |
| "eval_runtime": 3.6163, | |
| "eval_samples_per_second": 5.254, | |
| "eval_steps_per_second": 1.383, | |
| "step": 1127 | |
| }, | |
| { | |
| "epoch": 23.00125, | |
| "grad_norm": 0.015230727382004261, | |
| "learning_rate": 5.8796296296296295e-06, | |
| "loss": 0.0928, | |
| "step": 1130 | |
| }, | |
| { | |
| "epoch": 23.005416666666665, | |
| "grad_norm": 42.0711669921875, | |
| "learning_rate": 5.833333333333334e-06, | |
| "loss": 0.3605, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 23.00958333333333, | |
| "grad_norm": 0.05277286097407341, | |
| "learning_rate": 5.787037037037038e-06, | |
| "loss": 0.0005, | |
| "step": 1150 | |
| }, | |
| { | |
| "epoch": 23.01375, | |
| "grad_norm": 0.020604358986020088, | |
| "learning_rate": 5.740740740740741e-06, | |
| "loss": 0.0006, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 23.017916666666668, | |
| "grad_norm": 0.007125093135982752, | |
| "learning_rate": 5.694444444444445e-06, | |
| "loss": 0.019, | |
| "step": 1170 | |
| }, | |
| { | |
| "epoch": 23.020416666666666, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.2078418731689453, | |
| "eval_runtime": 3.6116, | |
| "eval_samples_per_second": 5.261, | |
| "eval_steps_per_second": 1.384, | |
| "step": 1176 | |
| }, | |
| { | |
| "epoch": 24.001666666666665, | |
| "grad_norm": 0.04864019155502319, | |
| "learning_rate": 5.6481481481481485e-06, | |
| "loss": 0.0005, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 24.00583333333333, | |
| "grad_norm": 0.06986731290817261, | |
| "learning_rate": 5.601851851851853e-06, | |
| "loss": 0.1865, | |
| "step": 1190 | |
| }, | |
| { | |
| "epoch": 24.01, | |
| "grad_norm": 0.045288749039173126, | |
| "learning_rate": 5.555555555555557e-06, | |
| "loss": 0.0021, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 24.014166666666668, | |
| "grad_norm": 0.12277600169181824, | |
| "learning_rate": 5.5092592592592595e-06, | |
| "loss": 0.0004, | |
| "step": 1210 | |
| }, | |
| { | |
| "epoch": 24.018333333333334, | |
| "grad_norm": 0.006932346150279045, | |
| "learning_rate": 5.462962962962963e-06, | |
| "loss": 0.0006, | |
| "step": 1220 | |
| }, | |
| { | |
| "epoch": 24.020416666666666, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 2.1280739307403564, | |
| "eval_runtime": 3.6117, | |
| "eval_samples_per_second": 5.261, | |
| "eval_steps_per_second": 1.384, | |
| "step": 1225 | |
| }, | |
| { | |
| "epoch": 25.002083333333335, | |
| "grad_norm": 0.016528107225894928, | |
| "learning_rate": 5.416666666666667e-06, | |
| "loss": 0.0003, | |
| "step": 1230 | |
| }, | |
| { | |
| "epoch": 25.00625, | |
| "grad_norm": 0.013506701216101646, | |
| "learning_rate": 5.370370370370371e-06, | |
| "loss": 0.0024, | |
| "step": 1240 | |
| }, | |
| { | |
| "epoch": 25.010416666666668, | |
| "grad_norm": 0.5438185334205627, | |
| "learning_rate": 5.324074074074075e-06, | |
| "loss": 0.0005, | |
| "step": 1250 | |
| }, | |
| { | |
| "epoch": 25.014583333333334, | |
| "grad_norm": 0.03781206160783768, | |
| "learning_rate": 5.2777777777777785e-06, | |
| "loss": 0.0003, | |
| "step": 1260 | |
| }, | |
| { | |
| "epoch": 25.01875, | |
| "grad_norm": 0.0206539798527956, | |
| "learning_rate": 5.231481481481482e-06, | |
| "loss": 0.0004, | |
| "step": 1270 | |
| }, | |
| { | |
| "epoch": 25.020416666666666, | |
| "eval_accuracy": 0.7368421052631579, | |
| "eval_loss": 2.010007381439209, | |
| "eval_runtime": 3.6278, | |
| "eval_samples_per_second": 5.237, | |
| "eval_steps_per_second": 1.378, | |
| "step": 1274 | |
| }, | |
| { | |
| "epoch": 26.0025, | |
| "grad_norm": 0.023114336654543877, | |
| "learning_rate": 5.185185185185185e-06, | |
| "loss": 0.0002, | |
| "step": 1280 | |
| }, | |
| { | |
| "epoch": 26.006666666666668, | |
| "grad_norm": 0.013670257292687893, | |
| "learning_rate": 5.138888888888889e-06, | |
| "loss": 0.002, | |
| "step": 1290 | |
| }, | |
| { | |
| "epoch": 26.010833333333334, | |
| "grad_norm": 0.0056487866677343845, | |
| "learning_rate": 5.092592592592593e-06, | |
| "loss": 0.0004, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 26.015, | |
| "grad_norm": 0.004165478516370058, | |
| "learning_rate": 5.046296296296297e-06, | |
| "loss": 0.0003, | |
| "step": 1310 | |
| }, | |
| { | |
| "epoch": 26.019166666666667, | |
| "grad_norm": 0.004816366359591484, | |
| "learning_rate": 5e-06, | |
| "loss": 0.0002, | |
| "step": 1320 | |
| }, | |
| { | |
| "epoch": 26.020416666666666, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 2.3861982822418213, | |
| "eval_runtime": 3.6074, | |
| "eval_samples_per_second": 5.267, | |
| "eval_steps_per_second": 1.386, | |
| "step": 1323 | |
| }, | |
| { | |
| "epoch": 27.002916666666668, | |
| "grad_norm": 0.006848832592368126, | |
| "learning_rate": 4.953703703703704e-06, | |
| "loss": 0.0062, | |
| "step": 1330 | |
| }, | |
| { | |
| "epoch": 27.007083333333334, | |
| "grad_norm": 530.533935546875, | |
| "learning_rate": 4.907407407407408e-06, | |
| "loss": 0.0309, | |
| "step": 1340 | |
| }, | |
| { | |
| "epoch": 27.01125, | |
| "grad_norm": 0.007108121179044247, | |
| "learning_rate": 4.861111111111111e-06, | |
| "loss": 0.0002, | |
| "step": 1350 | |
| }, | |
| { | |
| "epoch": 27.015416666666667, | |
| "grad_norm": 0.0033726587425917387, | |
| "learning_rate": 4.814814814814815e-06, | |
| "loss": 0.116, | |
| "step": 1360 | |
| }, | |
| { | |
| "epoch": 27.019583333333333, | |
| "grad_norm": 0.020084122195839882, | |
| "learning_rate": 4.768518518518519e-06, | |
| "loss": 0.0003, | |
| "step": 1370 | |
| }, | |
| { | |
| "epoch": 27.020416666666666, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.1578803062438965, | |
| "eval_runtime": 3.6309, | |
| "eval_samples_per_second": 5.233, | |
| "eval_steps_per_second": 1.377, | |
| "step": 1372 | |
| }, | |
| { | |
| "epoch": 28.003333333333334, | |
| "grad_norm": 0.05458810552954674, | |
| "learning_rate": 4.722222222222222e-06, | |
| "loss": 0.0002, | |
| "step": 1380 | |
| }, | |
| { | |
| "epoch": 28.0075, | |
| "grad_norm": 0.005413507577031851, | |
| "learning_rate": 4.675925925925927e-06, | |
| "loss": 0.0002, | |
| "step": 1390 | |
| }, | |
| { | |
| "epoch": 28.011666666666667, | |
| "grad_norm": 0.006965883541852236, | |
| "learning_rate": 4.62962962962963e-06, | |
| "loss": 0.0002, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 28.015833333333333, | |
| "grad_norm": 0.06325055658817291, | |
| "learning_rate": 4.583333333333333e-06, | |
| "loss": 0.0002, | |
| "step": 1410 | |
| }, | |
| { | |
| "epoch": 28.02, | |
| "grad_norm": 0.031983036547899246, | |
| "learning_rate": 4.537037037037038e-06, | |
| "loss": 0.0372, | |
| "step": 1420 | |
| }, | |
| { | |
| "epoch": 28.020416666666666, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.122598648071289, | |
| "eval_runtime": 3.5383, | |
| "eval_samples_per_second": 5.37, | |
| "eval_steps_per_second": 1.413, | |
| "step": 1421 | |
| }, | |
| { | |
| "epoch": 29.00375, | |
| "grad_norm": 0.07857130467891693, | |
| "learning_rate": 4.490740740740741e-06, | |
| "loss": 0.0006, | |
| "step": 1430 | |
| }, | |
| { | |
| "epoch": 29.007916666666667, | |
| "grad_norm": 0.016926715150475502, | |
| "learning_rate": 4.444444444444444e-06, | |
| "loss": 0.001, | |
| "step": 1440 | |
| }, | |
| { | |
| "epoch": 29.012083333333333, | |
| "grad_norm": 0.009676299057900906, | |
| "learning_rate": 4.398148148148149e-06, | |
| "loss": 0.0705, | |
| "step": 1450 | |
| }, | |
| { | |
| "epoch": 29.01625, | |
| "grad_norm": 0.006083638872951269, | |
| "learning_rate": 4.351851851851852e-06, | |
| "loss": 0.0002, | |
| "step": 1460 | |
| }, | |
| { | |
| "epoch": 29.020416666666666, | |
| "grad_norm": 0.006985980086028576, | |
| "learning_rate": 4.305555555555556e-06, | |
| "loss": 0.1547, | |
| "step": 1470 | |
| }, | |
| { | |
| "epoch": 29.020416666666666, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.4948902130126953, | |
| "eval_runtime": 3.5201, | |
| "eval_samples_per_second": 5.398, | |
| "eval_steps_per_second": 1.42, | |
| "step": 1470 | |
| }, | |
| { | |
| "epoch": 30.004166666666666, | |
| "grad_norm": 0.009625507518649101, | |
| "learning_rate": 4.2592592592592596e-06, | |
| "loss": 0.0104, | |
| "step": 1480 | |
| }, | |
| { | |
| "epoch": 30.008333333333333, | |
| "grad_norm": 0.006220038048923016, | |
| "learning_rate": 4.212962962962963e-06, | |
| "loss": 0.0002, | |
| "step": 1490 | |
| }, | |
| { | |
| "epoch": 30.0125, | |
| "grad_norm": 0.0076056793332099915, | |
| "learning_rate": 4.166666666666667e-06, | |
| "loss": 0.0006, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 30.016666666666666, | |
| "grad_norm": 16.74993133544922, | |
| "learning_rate": 4.1203703703703705e-06, | |
| "loss": 0.0015, | |
| "step": 1510 | |
| }, | |
| { | |
| "epoch": 30.020416666666666, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 1.881516933441162, | |
| "eval_runtime": 3.5962, | |
| "eval_samples_per_second": 5.283, | |
| "eval_steps_per_second": 1.39, | |
| "step": 1519 | |
| }, | |
| { | |
| "epoch": 31.000416666666666, | |
| "grad_norm": 0.010737285017967224, | |
| "learning_rate": 4.074074074074074e-06, | |
| "loss": 0.0596, | |
| "step": 1520 | |
| }, | |
| { | |
| "epoch": 31.004583333333333, | |
| "grad_norm": 0.004095606505870819, | |
| "learning_rate": 4.027777777777779e-06, | |
| "loss": 0.0001, | |
| "step": 1530 | |
| }, | |
| { | |
| "epoch": 31.00875, | |
| "grad_norm": 0.38500717282295227, | |
| "learning_rate": 3.9814814814814814e-06, | |
| "loss": 0.0003, | |
| "step": 1540 | |
| }, | |
| { | |
| "epoch": 31.012916666666666, | |
| "grad_norm": 35.35988235473633, | |
| "learning_rate": 3.935185185185186e-06, | |
| "loss": 0.0024, | |
| "step": 1550 | |
| }, | |
| { | |
| "epoch": 31.017083333333332, | |
| "grad_norm": 0.006391994189471006, | |
| "learning_rate": 3.88888888888889e-06, | |
| "loss": 0.0005, | |
| "step": 1560 | |
| }, | |
| { | |
| "epoch": 31.020416666666666, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 2.258211135864258, | |
| "eval_runtime": 3.5634, | |
| "eval_samples_per_second": 5.332, | |
| "eval_steps_per_second": 1.403, | |
| "step": 1568 | |
| }, | |
| { | |
| "epoch": 32.00083333333333, | |
| "grad_norm": 0.0057472470216453075, | |
| "learning_rate": 3.842592592592592e-06, | |
| "loss": 0.0005, | |
| "step": 1570 | |
| }, | |
| { | |
| "epoch": 32.005, | |
| "grad_norm": 0.011224722489714622, | |
| "learning_rate": 3.796296296296297e-06, | |
| "loss": 0.1187, | |
| "step": 1580 | |
| }, | |
| { | |
| "epoch": 32.009166666666665, | |
| "grad_norm": 0.0647362545132637, | |
| "learning_rate": 3.7500000000000005e-06, | |
| "loss": 0.0003, | |
| "step": 1590 | |
| }, | |
| { | |
| "epoch": 32.013333333333335, | |
| "grad_norm": 0.15853719413280487, | |
| "learning_rate": 3.7037037037037037e-06, | |
| "loss": 0.0002, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 32.0175, | |
| "grad_norm": 0.00835301075130701, | |
| "learning_rate": 3.657407407407408e-06, | |
| "loss": 0.0002, | |
| "step": 1610 | |
| }, | |
| { | |
| "epoch": 32.02041666666667, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 2.1774301528930664, | |
| "eval_runtime": 3.4326, | |
| "eval_samples_per_second": 5.535, | |
| "eval_steps_per_second": 1.457, | |
| "step": 1617 | |
| }, | |
| { | |
| "epoch": 33.00125, | |
| "grad_norm": 0.04617740586400032, | |
| "learning_rate": 3.6111111111111115e-06, | |
| "loss": 0.0002, | |
| "step": 1620 | |
| }, | |
| { | |
| "epoch": 33.00541666666667, | |
| "grad_norm": 0.009918724186718464, | |
| "learning_rate": 3.5648148148148147e-06, | |
| "loss": 0.2072, | |
| "step": 1630 | |
| }, | |
| { | |
| "epoch": 33.00958333333333, | |
| "grad_norm": 0.020935775712132454, | |
| "learning_rate": 3.5185185185185187e-06, | |
| "loss": 0.2234, | |
| "step": 1640 | |
| }, | |
| { | |
| "epoch": 33.01375, | |
| "grad_norm": 0.12407401949167252, | |
| "learning_rate": 3.4722222222222224e-06, | |
| "loss": 0.0177, | |
| "step": 1650 | |
| }, | |
| { | |
| "epoch": 33.017916666666665, | |
| "grad_norm": 0.007428634911775589, | |
| "learning_rate": 3.4259259259259265e-06, | |
| "loss": 0.0001, | |
| "step": 1660 | |
| }, | |
| { | |
| "epoch": 33.02041666666667, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 2.2221832275390625, | |
| "eval_runtime": 3.4343, | |
| "eval_samples_per_second": 5.532, | |
| "eval_steps_per_second": 1.456, | |
| "step": 1666 | |
| }, | |
| { | |
| "epoch": 34.001666666666665, | |
| "grad_norm": 0.0065287998877465725, | |
| "learning_rate": 3.37962962962963e-06, | |
| "loss": 0.0002, | |
| "step": 1670 | |
| }, | |
| { | |
| "epoch": 34.005833333333335, | |
| "grad_norm": 0.11280619353055954, | |
| "learning_rate": 3.3333333333333333e-06, | |
| "loss": 0.0003, | |
| "step": 1680 | |
| }, | |
| { | |
| "epoch": 34.01, | |
| "grad_norm": 0.019788485020399094, | |
| "learning_rate": 3.2870370370370374e-06, | |
| "loss": 0.0003, | |
| "step": 1690 | |
| }, | |
| { | |
| "epoch": 34.01416666666667, | |
| "grad_norm": 0.003129773773252964, | |
| "learning_rate": 3.240740740740741e-06, | |
| "loss": 0.0006, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 34.01833333333333, | |
| "grad_norm": 0.004923813510686159, | |
| "learning_rate": 3.1944444444444443e-06, | |
| "loss": 0.0001, | |
| "step": 1710 | |
| }, | |
| { | |
| "epoch": 34.02041666666667, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 2.356006383895874, | |
| "eval_runtime": 3.4358, | |
| "eval_samples_per_second": 5.53, | |
| "eval_steps_per_second": 1.455, | |
| "step": 1715 | |
| }, | |
| { | |
| "epoch": 35.00208333333333, | |
| "grad_norm": 0.04086696729063988, | |
| "learning_rate": 3.1481481481481483e-06, | |
| "loss": 0.0002, | |
| "step": 1720 | |
| }, | |
| { | |
| "epoch": 35.00625, | |
| "grad_norm": 0.0031430383678525686, | |
| "learning_rate": 3.101851851851852e-06, | |
| "loss": 0.0002, | |
| "step": 1730 | |
| }, | |
| { | |
| "epoch": 35.010416666666664, | |
| "grad_norm": 0.004690348170697689, | |
| "learning_rate": 3.055555555555556e-06, | |
| "loss": 0.0001, | |
| "step": 1740 | |
| }, | |
| { | |
| "epoch": 35.014583333333334, | |
| "grad_norm": 0.005091555416584015, | |
| "learning_rate": 3.0092592592592597e-06, | |
| "loss": 0.0002, | |
| "step": 1750 | |
| }, | |
| { | |
| "epoch": 35.01875, | |
| "grad_norm": 0.07692966610193253, | |
| "learning_rate": 2.962962962962963e-06, | |
| "loss": 0.0001, | |
| "step": 1760 | |
| }, | |
| { | |
| "epoch": 35.02041666666667, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 2.390404462814331, | |
| "eval_runtime": 3.4314, | |
| "eval_samples_per_second": 5.537, | |
| "eval_steps_per_second": 1.457, | |
| "step": 1764 | |
| }, | |
| { | |
| "epoch": 36.0025, | |
| "grad_norm": 0.003334124805405736, | |
| "learning_rate": 2.916666666666667e-06, | |
| "loss": 0.0002, | |
| "step": 1770 | |
| }, | |
| { | |
| "epoch": 36.00666666666667, | |
| "grad_norm": 258.331298828125, | |
| "learning_rate": 2.8703703703703706e-06, | |
| "loss": 0.0424, | |
| "step": 1780 | |
| }, | |
| { | |
| "epoch": 36.01083333333333, | |
| "grad_norm": 0.010029267519712448, | |
| "learning_rate": 2.8240740740740743e-06, | |
| "loss": 0.0001, | |
| "step": 1790 | |
| }, | |
| { | |
| "epoch": 36.015, | |
| "grad_norm": 0.0017382479272782803, | |
| "learning_rate": 2.7777777777777783e-06, | |
| "loss": 0.0001, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 36.01916666666666, | |
| "grad_norm": 0.0759102925658226, | |
| "learning_rate": 2.7314814814814816e-06, | |
| "loss": 0.0001, | |
| "step": 1810 | |
| }, | |
| { | |
| "epoch": 36.02041666666667, | |
| "eval_accuracy": 0.7368421052631579, | |
| "eval_loss": 2.2239937782287598, | |
| "eval_runtime": 3.6381, | |
| "eval_samples_per_second": 5.223, | |
| "eval_steps_per_second": 1.374, | |
| "step": 1813 | |
| }, | |
| { | |
| "epoch": 37.002916666666664, | |
| "grad_norm": 0.003970419522374868, | |
| "learning_rate": 2.6851851851851856e-06, | |
| "loss": 0.0001, | |
| "step": 1820 | |
| }, | |
| { | |
| "epoch": 37.007083333333334, | |
| "grad_norm": 0.005589651875197887, | |
| "learning_rate": 2.6388888888888893e-06, | |
| "loss": 0.0001, | |
| "step": 1830 | |
| }, | |
| { | |
| "epoch": 37.01125, | |
| "grad_norm": 0.00631442666053772, | |
| "learning_rate": 2.5925925925925925e-06, | |
| "loss": 0.0007, | |
| "step": 1840 | |
| }, | |
| { | |
| "epoch": 37.01541666666667, | |
| "grad_norm": 0.0022680216934531927, | |
| "learning_rate": 2.5462962962962966e-06, | |
| "loss": 0.0001, | |
| "step": 1850 | |
| }, | |
| { | |
| "epoch": 37.01958333333334, | |
| "grad_norm": 0.630527913570404, | |
| "learning_rate": 2.5e-06, | |
| "loss": 0.0002, | |
| "step": 1860 | |
| }, | |
| { | |
| "epoch": 37.02041666666667, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.287989854812622, | |
| "eval_runtime": 3.4557, | |
| "eval_samples_per_second": 5.498, | |
| "eval_steps_per_second": 1.447, | |
| "step": 1862 | |
| }, | |
| { | |
| "epoch": 38.00333333333333, | |
| "grad_norm": 0.018673082813620567, | |
| "learning_rate": 2.453703703703704e-06, | |
| "loss": 0.0002, | |
| "step": 1870 | |
| }, | |
| { | |
| "epoch": 38.0075, | |
| "grad_norm": 0.2521021068096161, | |
| "learning_rate": 2.4074074074074075e-06, | |
| "loss": 0.0011, | |
| "step": 1880 | |
| }, | |
| { | |
| "epoch": 38.01166666666666, | |
| "grad_norm": 0.004206162411719561, | |
| "learning_rate": 2.361111111111111e-06, | |
| "loss": 0.0001, | |
| "step": 1890 | |
| }, | |
| { | |
| "epoch": 38.01583333333333, | |
| "grad_norm": 0.003568112850189209, | |
| "learning_rate": 2.314814814814815e-06, | |
| "loss": 0.0001, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 38.02, | |
| "grad_norm": 0.03349081426858902, | |
| "learning_rate": 2.268518518518519e-06, | |
| "loss": 0.0002, | |
| "step": 1910 | |
| }, | |
| { | |
| "epoch": 38.02041666666667, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.300963878631592, | |
| "eval_runtime": 3.4283, | |
| "eval_samples_per_second": 5.542, | |
| "eval_steps_per_second": 1.458, | |
| "step": 1911 | |
| }, | |
| { | |
| "epoch": 39.00375, | |
| "grad_norm": 0.0027008787728846073, | |
| "learning_rate": 2.222222222222222e-06, | |
| "loss": 0.0001, | |
| "step": 1920 | |
| }, | |
| { | |
| "epoch": 39.00791666666667, | |
| "grad_norm": 0.0040114871226251125, | |
| "learning_rate": 2.175925925925926e-06, | |
| "loss": 0.0001, | |
| "step": 1930 | |
| }, | |
| { | |
| "epoch": 39.01208333333334, | |
| "grad_norm": 0.002579754451289773, | |
| "learning_rate": 2.1296296296296298e-06, | |
| "loss": 0.0001, | |
| "step": 1940 | |
| }, | |
| { | |
| "epoch": 39.01625, | |
| "grad_norm": 0.003918965347111225, | |
| "learning_rate": 2.0833333333333334e-06, | |
| "loss": 0.0001, | |
| "step": 1950 | |
| }, | |
| { | |
| "epoch": 39.02041666666667, | |
| "grad_norm": 0.002216913038864732, | |
| "learning_rate": 2.037037037037037e-06, | |
| "loss": 0.0001, | |
| "step": 1960 | |
| }, | |
| { | |
| "epoch": 39.02041666666667, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.3123650550842285, | |
| "eval_runtime": 3.4399, | |
| "eval_samples_per_second": 5.523, | |
| "eval_steps_per_second": 1.454, | |
| "step": 1960 | |
| }, | |
| { | |
| "epoch": 40.00416666666667, | |
| "grad_norm": 0.001679323031567037, | |
| "learning_rate": 1.9907407407407407e-06, | |
| "loss": 0.0001, | |
| "step": 1970 | |
| }, | |
| { | |
| "epoch": 40.00833333333333, | |
| "grad_norm": 0.004570376593619585, | |
| "learning_rate": 1.944444444444445e-06, | |
| "loss": 0.0028, | |
| "step": 1980 | |
| }, | |
| { | |
| "epoch": 40.0125, | |
| "grad_norm": 0.0024077030830085278, | |
| "learning_rate": 1.8981481481481484e-06, | |
| "loss": 0.078, | |
| "step": 1990 | |
| }, | |
| { | |
| "epoch": 40.016666666666666, | |
| "grad_norm": 0.0020433454774320126, | |
| "learning_rate": 1.8518518518518519e-06, | |
| "loss": 0.0001, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 40.02041666666667, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.2903194427490234, | |
| "eval_runtime": 3.4213, | |
| "eval_samples_per_second": 5.553, | |
| "eval_steps_per_second": 1.461, | |
| "step": 2009 | |
| }, | |
| { | |
| "epoch": 41.000416666666666, | |
| "grad_norm": 0.007383950520306826, | |
| "learning_rate": 1.8055555555555557e-06, | |
| "loss": 0.0001, | |
| "step": 2010 | |
| }, | |
| { | |
| "epoch": 41.004583333333336, | |
| "grad_norm": 0.005234722048044205, | |
| "learning_rate": 1.7592592592592594e-06, | |
| "loss": 0.0002, | |
| "step": 2020 | |
| }, | |
| { | |
| "epoch": 41.00875, | |
| "grad_norm": 0.01151933241635561, | |
| "learning_rate": 1.7129629629629632e-06, | |
| "loss": 0.0001, | |
| "step": 2030 | |
| }, | |
| { | |
| "epoch": 41.01291666666667, | |
| "grad_norm": 0.03747610002756119, | |
| "learning_rate": 1.6666666666666667e-06, | |
| "loss": 0.0001, | |
| "step": 2040 | |
| }, | |
| { | |
| "epoch": 41.01708333333333, | |
| "grad_norm": 0.00581372668966651, | |
| "learning_rate": 1.6203703703703705e-06, | |
| "loss": 0.1744, | |
| "step": 2050 | |
| }, | |
| { | |
| "epoch": 41.02041666666667, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.3067450523376465, | |
| "eval_runtime": 3.4324, | |
| "eval_samples_per_second": 5.535, | |
| "eval_steps_per_second": 1.457, | |
| "step": 2058 | |
| }, | |
| { | |
| "epoch": 42.00083333333333, | |
| "grad_norm": 0.003268251661211252, | |
| "learning_rate": 1.5740740740740742e-06, | |
| "loss": 0.0001, | |
| "step": 2060 | |
| }, | |
| { | |
| "epoch": 42.005, | |
| "grad_norm": 0.005169464275240898, | |
| "learning_rate": 1.527777777777778e-06, | |
| "loss": 0.0001, | |
| "step": 2070 | |
| }, | |
| { | |
| "epoch": 42.009166666666665, | |
| "grad_norm": 0.0015214293962344527, | |
| "learning_rate": 1.4814814814814815e-06, | |
| "loss": 0.1229, | |
| "step": 2080 | |
| }, | |
| { | |
| "epoch": 42.013333333333335, | |
| "grad_norm": 249.32093811035156, | |
| "learning_rate": 1.4351851851851853e-06, | |
| "loss": 0.0128, | |
| "step": 2090 | |
| }, | |
| { | |
| "epoch": 42.0175, | |
| "grad_norm": 0.007209462579339743, | |
| "learning_rate": 1.3888888888888892e-06, | |
| "loss": 0.0001, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 42.02041666666667, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.342156171798706, | |
| "eval_runtime": 3.4328, | |
| "eval_samples_per_second": 5.535, | |
| "eval_steps_per_second": 1.457, | |
| "step": 2107 | |
| }, | |
| { | |
| "epoch": 43.00125, | |
| "grad_norm": 0.0031976569443941116, | |
| "learning_rate": 1.3425925925925928e-06, | |
| "loss": 0.0001, | |
| "step": 2110 | |
| }, | |
| { | |
| "epoch": 43.00541666666667, | |
| "grad_norm": 0.0036477481480687857, | |
| "learning_rate": 1.2962962962962962e-06, | |
| "loss": 0.0001, | |
| "step": 2120 | |
| }, | |
| { | |
| "epoch": 43.00958333333333, | |
| "grad_norm": 0.00543107558041811, | |
| "learning_rate": 1.25e-06, | |
| "loss": 0.0001, | |
| "step": 2130 | |
| }, | |
| { | |
| "epoch": 43.01375, | |
| "grad_norm": 0.006350014358758926, | |
| "learning_rate": 1.2037037037037037e-06, | |
| "loss": 0.0001, | |
| "step": 2140 | |
| }, | |
| { | |
| "epoch": 43.017916666666665, | |
| "grad_norm": 0.008976898156106472, | |
| "learning_rate": 1.1574074074074076e-06, | |
| "loss": 0.0001, | |
| "step": 2150 | |
| }, | |
| { | |
| "epoch": 43.02041666666667, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.3476860523223877, | |
| "eval_runtime": 3.4979, | |
| "eval_samples_per_second": 5.432, | |
| "eval_steps_per_second": 1.429, | |
| "step": 2156 | |
| }, | |
| { | |
| "epoch": 44.001666666666665, | |
| "grad_norm": 0.006657883990556002, | |
| "learning_rate": 1.111111111111111e-06, | |
| "loss": 0.0001, | |
| "step": 2160 | |
| }, | |
| { | |
| "epoch": 44.005833333333335, | |
| "grad_norm": 0.005237992387264967, | |
| "learning_rate": 1.0648148148148149e-06, | |
| "loss": 0.0001, | |
| "step": 2170 | |
| }, | |
| { | |
| "epoch": 44.01, | |
| "grad_norm": 0.003178667975589633, | |
| "learning_rate": 1.0185185185185185e-06, | |
| "loss": 0.0001, | |
| "step": 2180 | |
| }, | |
| { | |
| "epoch": 44.01416666666667, | |
| "grad_norm": 0.0024578028824180365, | |
| "learning_rate": 9.722222222222224e-07, | |
| "loss": 0.0003, | |
| "step": 2190 | |
| }, | |
| { | |
| "epoch": 44.01833333333333, | |
| "grad_norm": 0.00786686223000288, | |
| "learning_rate": 9.259259259259259e-07, | |
| "loss": 0.0001, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 44.02041666666667, | |
| "eval_accuracy": 0.631578947368421, | |
| "eval_loss": 2.378264904022217, | |
| "eval_runtime": 3.5284, | |
| "eval_samples_per_second": 5.385, | |
| "eval_steps_per_second": 1.417, | |
| "step": 2205 | |
| }, | |
| { | |
| "epoch": 45.00208333333333, | |
| "grad_norm": 0.0038455643225461245, | |
| "learning_rate": 8.796296296296297e-07, | |
| "loss": 0.0002, | |
| "step": 2210 | |
| }, | |
| { | |
| "epoch": 45.00625, | |
| "grad_norm": 0.0019002072513103485, | |
| "learning_rate": 8.333333333333333e-07, | |
| "loss": 0.0001, | |
| "step": 2220 | |
| }, | |
| { | |
| "epoch": 45.010416666666664, | |
| "grad_norm": 0.002483098302036524, | |
| "learning_rate": 7.870370370370371e-07, | |
| "loss": 0.0001, | |
| "step": 2230 | |
| }, | |
| { | |
| "epoch": 45.014583333333334, | |
| "grad_norm": 0.0028833537362515926, | |
| "learning_rate": 7.407407407407407e-07, | |
| "loss": 0.0002, | |
| "step": 2240 | |
| }, | |
| { | |
| "epoch": 45.01875, | |
| "grad_norm": 0.0019563958048820496, | |
| "learning_rate": 6.944444444444446e-07, | |
| "loss": 0.0001, | |
| "step": 2250 | |
| }, | |
| { | |
| "epoch": 45.02041666666667, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.344691038131714, | |
| "eval_runtime": 3.4954, | |
| "eval_samples_per_second": 5.436, | |
| "eval_steps_per_second": 1.43, | |
| "step": 2254 | |
| }, | |
| { | |
| "epoch": 46.0025, | |
| "grad_norm": 0.0030405442230403423, | |
| "learning_rate": 6.481481481481481e-07, | |
| "loss": 0.0001, | |
| "step": 2260 | |
| }, | |
| { | |
| "epoch": 46.00666666666667, | |
| "grad_norm": 0.00329338270239532, | |
| "learning_rate": 6.018518518518519e-07, | |
| "loss": 0.0001, | |
| "step": 2270 | |
| }, | |
| { | |
| "epoch": 46.01083333333333, | |
| "grad_norm": 0.00243846676312387, | |
| "learning_rate": 5.555555555555555e-07, | |
| "loss": 0.0001, | |
| "step": 2280 | |
| }, | |
| { | |
| "epoch": 46.015, | |
| "grad_norm": 0.0017111854394897819, | |
| "learning_rate": 5.092592592592593e-07, | |
| "loss": 0.0001, | |
| "step": 2290 | |
| }, | |
| { | |
| "epoch": 46.01916666666666, | |
| "grad_norm": 0.010095887817442417, | |
| "learning_rate": 4.6296296296296297e-07, | |
| "loss": 0.0001, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 46.02041666666667, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.3414864540100098, | |
| "eval_runtime": 3.4719, | |
| "eval_samples_per_second": 5.473, | |
| "eval_steps_per_second": 1.44, | |
| "step": 2303 | |
| }, | |
| { | |
| "epoch": 47.002916666666664, | |
| "grad_norm": 0.004163892008364201, | |
| "learning_rate": 4.1666666666666667e-07, | |
| "loss": 0.0001, | |
| "step": 2310 | |
| }, | |
| { | |
| "epoch": 47.007083333333334, | |
| "grad_norm": 0.002049618400633335, | |
| "learning_rate": 3.7037037037037036e-07, | |
| "loss": 0.0001, | |
| "step": 2320 | |
| }, | |
| { | |
| "epoch": 47.01125, | |
| "grad_norm": 0.003938646987080574, | |
| "learning_rate": 3.2407407407407406e-07, | |
| "loss": 0.0001, | |
| "step": 2330 | |
| }, | |
| { | |
| "epoch": 47.01541666666667, | |
| "grad_norm": 0.004701240919530392, | |
| "learning_rate": 2.7777777777777776e-07, | |
| "loss": 0.0013, | |
| "step": 2340 | |
| }, | |
| { | |
| "epoch": 47.01958333333334, | |
| "grad_norm": 0.002614920726045966, | |
| "learning_rate": 2.3148148148148148e-07, | |
| "loss": 0.0001, | |
| "step": 2350 | |
| }, | |
| { | |
| "epoch": 47.02041666666667, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.341876745223999, | |
| "eval_runtime": 3.52, | |
| "eval_samples_per_second": 5.398, | |
| "eval_steps_per_second": 1.42, | |
| "step": 2352 | |
| }, | |
| { | |
| "epoch": 48.00333333333333, | |
| "grad_norm": 0.0040041073225438595, | |
| "learning_rate": 1.8518518518518518e-07, | |
| "loss": 0.0014, | |
| "step": 2360 | |
| }, | |
| { | |
| "epoch": 48.0075, | |
| "grad_norm": 0.0024590292014181614, | |
| "learning_rate": 1.3888888888888888e-07, | |
| "loss": 0.0001, | |
| "step": 2370 | |
| }, | |
| { | |
| "epoch": 48.01166666666666, | |
| "grad_norm": 0.004839394707232714, | |
| "learning_rate": 9.259259259259259e-08, | |
| "loss": 0.0002, | |
| "step": 2380 | |
| }, | |
| { | |
| "epoch": 48.01583333333333, | |
| "grad_norm": 0.0019098540069535375, | |
| "learning_rate": 4.6296296296296295e-08, | |
| "loss": 0.0002, | |
| "step": 2390 | |
| }, | |
| { | |
| "epoch": 48.02, | |
| "grad_norm": 0.00532747246325016, | |
| "learning_rate": 0.0, | |
| "loss": 0.0001, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 48.02, | |
| "eval_accuracy": 0.6842105263157895, | |
| "eval_loss": 2.3470160961151123, | |
| "eval_runtime": 4.2841, | |
| "eval_samples_per_second": 4.435, | |
| "eval_steps_per_second": 1.167, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 48.02, | |
| "step": 2400, | |
| "total_flos": 4.194308336371473e+19, | |
| "train_loss": 0.18858948054393598, | |
| "train_runtime": 4106.9782, | |
| "train_samples_per_second": 2.337, | |
| "train_steps_per_second": 0.584 | |
| }, | |
| { | |
| "epoch": 48.02, | |
| "eval_accuracy": 0.5, | |
| "eval_loss": 1.6418968439102173, | |
| "eval_runtime": 4.996, | |
| "eval_samples_per_second": 4.804, | |
| "eval_steps_per_second": 1.201, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 48.02, | |
| "eval_accuracy": 0.5, | |
| "eval_loss": 1.6418968439102173, | |
| "eval_runtime": 4.5735, | |
| "eval_samples_per_second": 5.248, | |
| "eval_steps_per_second": 1.312, | |
| "step": 2400 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 2400, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 9223372036854775807, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 4.194308336371473e+19, | |
| "train_batch_size": 4, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |