| { |
| "args": { |
| "model": "andreasmartin/apertus-v1.5-8b-text", |
| "data_dir": "data/full3", |
| "dataset_repo": "None", |
| "out": "runs/decider3", |
| "epochs": "1.0", |
| "lr": "0.0001", |
| "batch": "8", |
| "accumulation": "4", |
| "max_length": "768", |
| "lora_r": "32", |
| "lora_alpha": "32", |
| "lora_dropout": "0.05", |
| "seed": "0", |
| "template_kwargs": "{}", |
| "hub_adapter": "blackfish021/apertus-lightpath-decider-v3-e2", |
| "hub_merged": "None", |
| "dry_run": "False", |
| "no_4bit": "False", |
| "limit_train": "0", |
| "limit_heldout": "0", |
| "max_steps": "-1", |
| "skip_merge": "True", |
| "save_merged": "False", |
| "eval_records": "200", |
| "save_steps": "100", |
| "resume": "True", |
| "resume_dir": "None", |
| "die_at_step": "0", |
| "predict_batch": "32", |
| "max_new_tokens": "16", |
| "init_adapter": "blackfish021/apertus-lightpath-decider-v3" |
| }, |
| "resumed_from": null, |
| "metrics": { |
| "train_runtime": 3817.0186, |
| "train_samples_per_second": 3.144, |
| "train_steps_per_second": 0.098, |
| "total_flos": 2.7898729612959744e+17, |
| "train_loss": 0.01657172168294589, |
| "epoch": 1.0 |
| }, |
| "log": [ |
| { |
| "loss": 0.022410409152507783, |
| "grad_norm": 0.31484320759773254, |
| "learning_rate": 4.736842105263158e-05, |
| "epoch": 0.02666666666666667, |
| "step": 10 |
| }, |
| { |
| "loss": 0.025908684730529784, |
| "grad_norm": 0.12033871561288834, |
| "learning_rate": 0.0001, |
| "epoch": 0.05333333333333334, |
| "step": 20 |
| }, |
| { |
| "loss": 0.033026579022407535, |
| "grad_norm": 0.2651446461677551, |
| "learning_rate": 9.980543805476446e-05, |
| "epoch": 0.08, |
| "step": 30 |
| }, |
| { |
| "loss": 0.018129727244377135, |
| "grad_norm": 0.10938066244125366, |
| "learning_rate": 9.922326639307917e-05, |
| "epoch": 0.10666666666666667, |
| "step": 40 |
| }, |
| { |
| "loss": 0.021136780083179475, |
| "grad_norm": 0.023365505039691925, |
| "learning_rate": 9.825801575298248e-05, |
| "epoch": 0.13333333333333333, |
| "step": 50 |
| }, |
| { |
| "loss": 0.01657077521085739, |
| "grad_norm": 0.0763176754117012, |
| "learning_rate": 9.691719817616147e-05, |
| "epoch": 0.16, |
| "step": 60 |
| }, |
| { |
| "loss": 0.01797577887773514, |
| "grad_norm": 0.2973942756652832, |
| "learning_rate": 9.521124854565425e-05, |
| "epoch": 0.18666666666666668, |
| "step": 70 |
| }, |
| { |
| "loss": 0.027637118101119997, |
| "grad_norm": 0.08629462122917175, |
| "learning_rate": 9.315344337660421e-05, |
| "epoch": 0.21333333333333335, |
| "step": 80 |
| }, |
| { |
| "loss": 0.019443552196025848, |
| "grad_norm": 0.06489592045545578, |
| "learning_rate": 9.075979749207561e-05, |
| "epoch": 0.24, |
| "step": 90 |
| }, |
| { |
| "loss": 0.021283210813999177, |
| "grad_norm": 0.217499241232872, |
| "learning_rate": 8.80489393880484e-05, |
| "epoch": 0.26666666666666666, |
| "step": 100 |
| }, |
| { |
| "eval_loss": 0.032591983675956726, |
| "eval_runtime": 17.6588, |
| "eval_samples_per_second": 11.326, |
| "eval_steps_per_second": 1.416, |
| "epoch": 0.26666666666666666, |
| "step": 100 |
| }, |
| { |
| "loss": 0.014644630253314972, |
| "grad_norm": 0.172653466463089, |
| "learning_rate": 8.504196625756166e-05, |
| "epoch": 0.29333333333333333, |
| "step": 110 |
| }, |
| { |
| "loss": 0.014805102348327636, |
| "grad_norm": 0.10182410478591919, |
| "learning_rate": 8.176227980227694e-05, |
| "epoch": 0.32, |
| "step": 120 |
| }, |
| { |
| "loss": 0.014555910229682922, |
| "grad_norm": 0.17371761798858643, |
| "learning_rate": 7.823540410925435e-05, |
| "epoch": 0.3466666666666667, |
| "step": 130 |
| }, |
| { |
| "loss": 0.016314414143562318, |
| "grad_norm": 0.022570302709937096, |
| "learning_rate": 7.448878701031142e-05, |
| "epoch": 0.37333333333333335, |
| "step": 140 |
| }, |
| { |
| "loss": 0.01566801071166992, |
| "grad_norm": 0.2855406701564789, |
| "learning_rate": 7.055158646988109e-05, |
| "epoch": 0.4, |
| "step": 150 |
| }, |
| { |
| "loss": 0.018659861385822298, |
| "grad_norm": 0.11542737483978271, |
| "learning_rate": 6.64544436638005e-05, |
| "epoch": 0.4266666666666667, |
| "step": 160 |
| }, |
| { |
| "loss": 0.013596612215042114, |
| "grad_norm": 0.16074834764003754, |
| "learning_rate": 6.222924451504001e-05, |
| "epoch": 0.4533333333333333, |
| "step": 170 |
| }, |
| { |
| "loss": 0.020363916456699372, |
| "grad_norm": 0.04103618487715721, |
| "learning_rate": 5.79088715422152e-05, |
| "epoch": 0.48, |
| "step": 180 |
| }, |
| { |
| "loss": 0.014784714579582215, |
| "grad_norm": 0.13508240878582, |
| "learning_rate": 5.352694795211555e-05, |
| "epoch": 0.5066666666666667, |
| "step": 190 |
| }, |
| { |
| "loss": 0.008975905925035476, |
| "grad_norm": 0.028504809364676476, |
| "learning_rate": 4.911757596784357e-05, |
| "epoch": 0.5333333333333333, |
| "step": 200 |
| }, |
| { |
| "eval_loss": 0.026406440883874893, |
| "eval_runtime": 17.6523, |
| "eval_samples_per_second": 11.33, |
| "eval_steps_per_second": 1.416, |
| "epoch": 0.5333333333333333, |
| "step": 200 |
| }, |
| { |
| "loss": 0.017752039432525634, |
| "grad_norm": 0.07383177429437637, |
| "learning_rate": 4.471507142902036e-05, |
| "epoch": 0.56, |
| "step": 210 |
| }, |
| { |
| "loss": 0.011054360121488572, |
| "grad_norm": 0.16143670678138733, |
| "learning_rate": 4.035369672952516e-05, |
| "epoch": 0.5866666666666667, |
| "step": 220 |
| }, |
| { |
| "loss": 0.010980958491563797, |
| "grad_norm": 0.12218093127012253, |
| "learning_rate": 3.6067394171175394e-05, |
| "epoch": 0.6133333333333333, |
| "step": 230 |
| }, |
| { |
| "loss": 0.012676803767681122, |
| "grad_norm": 0.24066784977912903, |
| "learning_rate": 3.188952180851589e-05, |
| "epoch": 0.64, |
| "step": 240 |
| }, |
| { |
| "loss": 0.011154239624738693, |
| "grad_norm": 0.15749654173851013, |
| "learning_rate": 2.785259384049959e-05, |
| "epoch": 0.6666666666666666, |
| "step": 250 |
| }, |
| { |
| "loss": 0.01723717600107193, |
| "grad_norm": 0.12799593806266785, |
| "learning_rate": 2.3988027569455895e-05, |
| "epoch": 0.6933333333333334, |
| "step": 260 |
| }, |
| { |
| "loss": 0.01156546175479889, |
| "grad_norm": 0.1376238912343979, |
| "learning_rate": 2.0325898896632177e-05, |
| "epoch": 0.72, |
| "step": 270 |
| }, |
| { |
| "loss": 0.013197347521781921, |
| "grad_norm": 0.2866266965866089, |
| "learning_rate": 1.689470825715998e-05, |
| "epoch": 0.7466666666666667, |
| "step": 280 |
| }, |
| { |
| "loss": 0.014573681354522704, |
| "grad_norm": 0.02412877231836319, |
| "learning_rate": 1.3721158816050873e-05, |
| "epoch": 0.7733333333333333, |
| "step": 290 |
| }, |
| { |
| "loss": 0.025699126720428466, |
| "grad_norm": 0.1795499622821808, |
| "learning_rate": 1.0829948651407374e-05, |
| "epoch": 0.8, |
| "step": 300 |
| }, |
| { |
| "eval_loss": 0.026917733252048492, |
| "eval_runtime": 17.6625, |
| "eval_samples_per_second": 11.323, |
| "eval_steps_per_second": 1.415, |
| "epoch": 0.8, |
| "step": 300 |
| }, |
| { |
| "loss": 0.020623017847537995, |
| "grad_norm": 0.1386154145002365, |
| "learning_rate": 8.243578542178226e-06, |
| "epoch": 0.8266666666666667, |
| "step": 310 |
| }, |
| { |
| "loss": 0.012144556641578675, |
| "grad_norm": 0.20349618792533875, |
| "learning_rate": 5.982176856345445e-06, |
| "epoch": 0.8533333333333334, |
| "step": 320 |
| }, |
| { |
| "loss": 0.02048766314983368, |
| "grad_norm": 0.24547676742076874, |
| "learning_rate": 4.0633429023472e-06, |
| "epoch": 0.88, |
| "step": 330 |
| }, |
| { |
| "loss": 0.012237246334552764, |
| "grad_norm": 0.07478773593902588, |
| "learning_rate": 2.50200996285046e-06, |
| "epoch": 0.9066666666666666, |
| "step": 340 |
| }, |
| { |
| "loss": 0.009454116225242615, |
| "grad_norm": 0.1210315078496933, |
| "learning_rate": 1.3103290768099797e-06, |
| "epoch": 0.9333333333333333, |
| "step": 350 |
| }, |
| { |
| "loss": 0.009869556128978729, |
| "grad_norm": 0.0482204295694828, |
| "learning_rate": 4.975744742772848e-07, |
| "epoch": 0.96, |
| "step": 360 |
| }, |
| { |
| "loss": 0.010671104490756988, |
| "grad_norm": 0.08062546700239182, |
| "learning_rate": 7.007139991108135e-08, |
| "epoch": 0.9866666666666667, |
| "step": 370 |
| }, |
| { |
| "eval_loss": 0.024143896996974945, |
| "eval_runtime": 17.6568, |
| "eval_samples_per_second": 11.327, |
| "eval_steps_per_second": 1.416, |
| "epoch": 1.0, |
| "step": 375 |
| }, |
| { |
| "train_runtime": 3817.0186, |
| "train_samples_per_second": 3.144, |
| "train_steps_per_second": 0.098, |
| "total_flos": 2.7898729612959744e+17, |
| "train_loss": 0.01657172168294589, |
| "epoch": 1.0, |
| "step": 375 |
| } |
| ], |
| "peak_gpu_gb": 17.891663074493408 |
| } |
