| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 3.9936, | |
| "eval_steps": 500, | |
| "global_step": 468, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.08533333333333333, | |
| "grad_norm": 8.668759285377428, | |
| "learning_rate": 1.3333333333333333e-05, | |
| "loss": 1.8093, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.17066666666666666, | |
| "grad_norm": 3.556271131996917, | |
| "learning_rate": 1.999398868012663e-05, | |
| "loss": 0.8032, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 2.2765030173254392, | |
| "learning_rate": 1.9945941475610623e-05, | |
| "loss": 0.7009, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.3413333333333333, | |
| "grad_norm": 1.9895197284611044, | |
| "learning_rate": 1.9850078058821615e-05, | |
| "loss": 0.6345, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 1.7905290283957234, | |
| "learning_rate": 1.970685930372489e-05, | |
| "loss": 0.6209, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 1.7205843284307845, | |
| "learning_rate": 1.951697375030553e-05, | |
| "loss": 0.6013, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.5973333333333334, | |
| "grad_norm": 1.5055079086008205, | |
| "learning_rate": 1.9281334294336364e-05, | |
| "loss": 0.5831, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.6826666666666666, | |
| "grad_norm": 1.7060167572505922, | |
| "learning_rate": 1.90010737985307e-05, | |
| "loss": 0.5706, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 1.5693012055848137, | |
| "learning_rate": 1.8677539646179706e-05, | |
| "loss": 0.5733, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 1.499794648657957, | |
| "learning_rate": 1.831228726345841e-05, | |
| "loss": 0.565, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.9386666666666666, | |
| "grad_norm": 1.4531974961562182, | |
| "learning_rate": 1.7907072641542527e-05, | |
| "loss": 0.5548, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 1.024, | |
| "grad_norm": 1.4991197271641954, | |
| "learning_rate": 1.746384389448694e-05, | |
| "loss": 0.5067, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 1.1093333333333333, | |
| "grad_norm": 1.4406701009882157, | |
| "learning_rate": 1.6984731893452174e-05, | |
| "loss": 0.3861, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 1.1946666666666665, | |
| "grad_norm": 1.3323436597340712, | |
| "learning_rate": 1.647204002230594e-05, | |
| "loss": 0.3849, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 1.440561661390246, | |
| "learning_rate": 1.592823310385073e-05, | |
| "loss": 0.3821, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 1.3653333333333333, | |
| "grad_norm": 1.404797504035113, | |
| "learning_rate": 1.5355925549915943e-05, | |
| "loss": 0.3834, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 1.4506666666666668, | |
| "grad_norm": 1.3883538889629916, | |
| "learning_rate": 1.4757868792284231e-05, | |
| "loss": 0.3846, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 1.536, | |
| "grad_norm": 1.4994642810654801, | |
| "learning_rate": 1.4136938054879284e-05, | |
| "loss": 0.3777, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 1.6213333333333333, | |
| "grad_norm": 1.4317723038435872, | |
| "learning_rate": 1.3496118530809195e-05, | |
| "loss": 0.3759, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 1.7066666666666666, | |
| "grad_norm": 1.3333390271208698, | |
| "learning_rate": 1.2838491030720882e-05, | |
| "loss": 0.3805, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 1.792, | |
| "grad_norm": 1.213706775882468, | |
| "learning_rate": 1.2167217171462566e-05, | |
| "loss": 0.3761, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 1.8773333333333333, | |
| "grad_norm": 1.3744918308528333, | |
| "learning_rate": 1.148552417626157e-05, | |
| "loss": 0.3768, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 1.9626666666666668, | |
| "grad_norm": 1.2403715500599934, | |
| "learning_rate": 1.0796689359492154e-05, | |
| "loss": 0.372, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 2.048, | |
| "grad_norm": 1.6379022567758872, | |
| "learning_rate": 1.0104024370624644e-05, | |
| "loss": 0.2798, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 1.1819386470358644, | |
| "learning_rate": 9.410859273104823e-06, | |
| "loss": 0.1995, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 2.2186666666666666, | |
| "grad_norm": 1.2733272140355345, | |
| "learning_rate": 8.720526534706052e-06, | |
| "loss": 0.1947, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 2.304, | |
| "grad_norm": 1.162302710456169, | |
| "learning_rate": 8.036345006322358e-06, | |
| "loss": 0.1946, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 2.389333333333333, | |
| "grad_norm": 1.2962132371761275, | |
| "learning_rate": 7.361603966226165e-06, | |
| "loss": 0.1919, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 2.474666666666667, | |
| "grad_norm": 1.3055001096085215, | |
| "learning_rate": 6.6995473064996455e-06, | |
| "loss": 0.1905, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 2.56, | |
| "grad_norm": 1.226137319312948, | |
| "learning_rate": 6.053357937665237e-06, | |
| "loss": 0.1854, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 2.6453333333333333, | |
| "grad_norm": 1.2021100197899552, | |
| "learning_rate": 5.4261424864917075e-06, | |
| "loss": 0.1849, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 2.7306666666666666, | |
| "grad_norm": 1.0952029940080175, | |
| "learning_rate": 4.82091636054281e-06, | |
| "loss": 0.1806, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 2.816, | |
| "grad_norm": 1.2602650926411667, | |
| "learning_rate": 4.240589251272342e-06, | |
| "loss": 0.1782, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 2.9013333333333335, | |
| "grad_norm": 1.2005096875177113, | |
| "learning_rate": 3.687951145361073e-06, | |
| "loss": 0.1769, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 2.986666666666667, | |
| "grad_norm": 1.1943662057031765, | |
| "learning_rate": 3.165658911547592e-06, | |
| "loss": 0.1736, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 3.072, | |
| "grad_norm": 1.067670205961333, | |
| "learning_rate": 2.6762235274383775e-06, | |
| "loss": 0.0984, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 3.1573333333333333, | |
| "grad_norm": 0.9186356555560831, | |
| "learning_rate": 2.2219980077055756e-06, | |
| "loss": 0.0796, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 3.2426666666666666, | |
| "grad_norm": 1.0410439251653913, | |
| "learning_rate": 1.8051660917090718e-06, | |
| "loss": 0.0796, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 3.328, | |
| "grad_norm": 0.886448494832772, | |
| "learning_rate": 1.4277317449282834e-06, | |
| "loss": 0.0772, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 3.413333333333333, | |
| "grad_norm": 0.974130364801103, | |
| "learning_rate": 1.0915095246767692e-06, | |
| "loss": 0.0744, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 3.498666666666667, | |
| "grad_norm": 0.9515094828262671, | |
| "learning_rate": 7.981158564175074e-07, | |
| "loss": 0.074, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 3.584, | |
| "grad_norm": 0.9089441736387587, | |
| "learning_rate": 5.489612626189245e-07, | |
| "loss": 0.0733, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 3.6693333333333333, | |
| "grad_norm": 0.9062539854397491, | |
| "learning_rate": 3.452435815123323e-07, | |
| "loss": 0.0735, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 3.7546666666666666, | |
| "grad_norm": 0.8575629442047233, | |
| "learning_rate": 1.8794220835231413e-07, | |
| "loss": 0.0726, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 3.84, | |
| "grad_norm": 0.9089660372404477, | |
| "learning_rate": 7.781338686584928e-08, | |
| "loss": 0.0726, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 3.9253333333333336, | |
| "grad_norm": 0.892955147982398, | |
| "learning_rate": 1.5386573527067516e-08, | |
| "loss": 0.072, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 3.9936, | |
| "step": 468, | |
| "total_flos": 39336423260160.0, | |
| "train_loss": 0.34061669692015034, | |
| "train_runtime": 50992.0885, | |
| "train_samples_per_second": 1.177, | |
| "train_steps_per_second": 0.009 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 468, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 4, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 39336423260160.0, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |