{
  "args": {
    "model": "andreasmartin/apertus-v1.5-8b-text",
    "data_dir": "data/full",
    "dataset_repo": "None",
    "out": "runs/apertus-ft",
    "epochs": "1.0",
    "lr": "0.0001",
    "batch": "8",
    "accumulation": "4",
    "max_length": "768",
    "lora_r": "32",
    "lora_alpha": "32",
    "lora_dropout": "0.05",
    "seed": "0",
    "template_kwargs": "{}",
    "hub_adapter": "blackfish021/apertus-lightpath-lora-v2-e2",
    "hub_merged": "None",
    "dry_run": "False",
    "no_4bit": "False",
    "limit_train": "0",
    "limit_heldout": "0",
    "max_steps": "-1",
    "skip_merge": "False",
    "save_merged": "False",
    "eval_records": "200",
    "save_steps": "100",
    "resume": "True",
    "resume_dir": "None",
    "die_at_step": "0",
    "predict_batch": "32",
    "init_adapter": "blackfish021/apertus-lightpath-lora-v2"
  },
  "resumed_from": null,
  "metrics": {
    "train_runtime": 3812.4759,
    "train_samples_per_second": 3.148,
    "train_steps_per_second": 0.098,
    "total_flos": 2.7779852097460224e+17,
    "train_loss": 0.011218524058659871,
    "epoch": 1.0
  },
  "log": [
    {
      "loss": 0.01384488046169281,
      "grad_norm": 0.33873438835144043,
      "learning_rate": 4.736842105263158e-05,
      "epoch": 0.02666666666666667,
      "step": 10
    },
    {
      "loss": 0.022097447514533998,
      "grad_norm": 0.18480756878852844,
      "learning_rate": 0.0001,
      "epoch": 0.05333333333333334,
      "step": 20
    },
    {
      "loss": 0.02150299847126007,
      "grad_norm": 0.12388921529054642,
      "learning_rate": 9.980543805476446e-05,
      "epoch": 0.08,
      "step": 30
    },
    {
      "loss": 0.01701856404542923,
      "grad_norm": 0.11799619346857071,
      "learning_rate": 9.922326639307917e-05,
      "epoch": 0.10666666666666667,
      "step": 40
    },
    {
      "loss": 0.012122371792793274,
      "grad_norm": 0.021735835820436478,
      "learning_rate": 9.825801575298248e-05,
      "epoch": 0.13333333333333333,
      "step": 50
    },
    {
      "loss": 0.017537528276443483,
      "grad_norm": 0.07320397347211838,
      "learning_rate": 9.691719817616147e-05,
      "epoch": 0.16,
      "step": 60
    },
    {
      "loss": 0.017141778767108918,
      "grad_norm": 0.056248728185892105,
      "learning_rate": 9.521124854565425e-05,
      "epoch": 0.18666666666666668,
      "step": 70
    },
    {
      "loss": 0.016254451870918275,
      "grad_norm": 0.019586222246289253,
      "learning_rate": 9.315344337660421e-05,
      "epoch": 0.21333333333333335,
      "step": 80
    },
    {
      "loss": 0.0101861372590065,
      "grad_norm": 0.04992126300930977,
      "learning_rate": 9.075979749207561e-05,
      "epoch": 0.24,
      "step": 90
    },
    {
      "loss": 0.02851756811141968,
      "grad_norm": 0.2849849760532379,
      "learning_rate": 8.80489393880484e-05,
      "epoch": 0.26666666666666666,
      "step": 100
    },
    {
      "eval_loss": 0.012261896394193172,
      "eval_runtime": 17.4724,
      "eval_samples_per_second": 11.447,
      "eval_steps_per_second": 1.431,
      "epoch": 0.26666666666666666,
      "step": 100
    },
    {
      "loss": 0.008915887773036956,
      "grad_norm": 0.07487254589796066,
      "learning_rate": 8.504196625756166e-05,
      "epoch": 0.29333333333333333,
      "step": 110
    },
    {
      "loss": 0.010710074752569198,
      "grad_norm": 0.11624987423419952,
      "learning_rate": 8.176227980227694e-05,
      "epoch": 0.32,
      "step": 120
    },
    {
      "loss": 0.009727595001459121,
      "grad_norm": 0.0497317761182785,
      "learning_rate": 7.823540410925435e-05,
      "epoch": 0.3466666666666667,
      "step": 130
    },
    {
      "loss": 0.009603370726108552,
      "grad_norm": 0.030514264479279518,
      "learning_rate": 7.448878701031142e-05,
      "epoch": 0.37333333333333335,
      "step": 140
    },
    {
      "loss": 0.011014293879270554,
      "grad_norm": 0.3028520345687866,
      "learning_rate": 7.055158646988109e-05,
      "epoch": 0.4,
      "step": 150
    },
    {
      "loss": 0.010542667657136916,
      "grad_norm": 0.015884343534708023,
      "learning_rate": 6.64544436638005e-05,
      "epoch": 0.4266666666666667,
      "step": 160
    },
    {
      "loss": 0.01363055557012558,
      "grad_norm": 0.300260454416275,
      "learning_rate": 6.222924451504001e-05,
      "epoch": 0.4533333333333333,
      "step": 170
    },
    {
      "loss": 0.006321878731250763,
      "grad_norm": 0.12997210025787354,
      "learning_rate": 5.79088715422152e-05,
      "epoch": 0.48,
      "step": 180
    },
    {
      "loss": 0.010552535206079483,
      "grad_norm": 0.1937008947134018,
      "learning_rate": 5.352694795211555e-05,
      "epoch": 0.5066666666666667,
      "step": 190
    },
    {
      "loss": 0.005176491662859916,
      "grad_norm": 0.04255285859107971,
      "learning_rate": 4.911757596784357e-05,
      "epoch": 0.5333333333333333,
      "step": 200
    },
    {
      "eval_loss": 0.007622640114277601,
      "eval_runtime": 17.4768,
      "eval_samples_per_second": 11.444,
      "eval_steps_per_second": 1.43,
      "epoch": 0.5333333333333333,
      "step": 200
    },
    {
      "loss": 0.008838766813278198,
      "grad_norm": 0.028912929818034172,
      "learning_rate": 4.471507142902036e-05,
      "epoch": 0.56,
      "step": 210
    },
    {
      "loss": 0.00768669992685318,
      "grad_norm": 0.007291149813681841,
      "learning_rate": 4.035369672952516e-05,
      "epoch": 0.5866666666666667,
      "step": 220
    },
    {
      "loss": 0.005340326949954033,
      "grad_norm": 0.03450910374522209,
      "learning_rate": 3.6067394171175394e-05,
      "epoch": 0.6133333333333333,
      "step": 230
    },
    {
      "loss": 0.006961701065301895,
      "grad_norm": 0.0651315376162529,
      "learning_rate": 3.188952180851589e-05,
      "epoch": 0.64,
      "step": 240
    },
    {
      "loss": 0.01254490315914154,
      "grad_norm": 0.14067977666854858,
      "learning_rate": 2.785259384049959e-05,
      "epoch": 0.6666666666666666,
      "step": 250
    },
    {
      "loss": 0.007167889177799225,
      "grad_norm": 0.000457792921224609,
      "learning_rate": 2.3988027569455895e-05,
      "epoch": 0.6933333333333334,
      "step": 260
    },
    {
      "loss": 0.005456669256091118,
      "grad_norm": 0.005639929790049791,
      "learning_rate": 2.0325898896632177e-05,
      "epoch": 0.72,
      "step": 270
    },
    {
      "loss": 0.0068633735179901125,
      "grad_norm": 0.07485613226890564,
      "learning_rate": 1.689470825715998e-05,
      "epoch": 0.7466666666666667,
      "step": 280
    },
    {
      "loss": 0.005220134183764458,
      "grad_norm": 0.06705531477928162,
      "learning_rate": 1.3721158816050873e-05,
      "epoch": 0.7733333333333333,
      "step": 290
    },
    {
      "loss": 0.007997465133666993,
      "grad_norm": 0.08818303048610687,
      "learning_rate": 1.0829948651407374e-05,
      "epoch": 0.8,
      "step": 300
    },
    {
      "eval_loss": 0.002578053157776594,
      "eval_runtime": 17.4944,
      "eval_samples_per_second": 11.432,
      "eval_steps_per_second": 1.429,
      "epoch": 0.8,
      "step": 300
    },
    {
      "loss": 0.009789415448904038,
      "grad_norm": 0.16481904685497284,
      "learning_rate": 8.243578542178226e-06,
      "epoch": 0.8266666666666667,
      "step": 310
    },
    {
      "loss": 0.007899009436368943,
      "grad_norm": 0.0976383239030838,
      "learning_rate": 5.982176856345445e-06,
      "epoch": 0.8533333333333334,
      "step": 320
    },
    {
      "loss": 0.010756462067365646,
      "grad_norm": 0.16809262335300446,
      "learning_rate": 4.0633429023472e-06,
      "epoch": 0.88,
      "step": 330
    },
    {
      "loss": 0.011845598369836808,
      "grad_norm": 0.26363450288772583,
      "learning_rate": 2.50200996285046e-06,
      "epoch": 0.9066666666666666,
      "step": 340
    },
    {
      "loss": 0.0073016762733459474,
      "grad_norm": 0.12101974338293076,
      "learning_rate": 1.3103290768099797e-06,
      "epoch": 0.9333333333333333,
      "step": 350
    },
    {
      "loss": 0.010601756721735,
      "grad_norm": 0.08793353289365768,
      "learning_rate": 4.975744742772848e-07,
      "epoch": 0.96,
      "step": 360
    },
    {
      "loss": 0.012165943533182145,
      "grad_norm": 0.18577927350997925,
      "learning_rate": 7.007139991108135e-08,
      "epoch": 0.9866666666666667,
      "step": 370
    },
    {
      "eval_loss": 0.002687283558771014,
      "eval_runtime": 17.521,
      "eval_samples_per_second": 11.415,
      "eval_steps_per_second": 1.427,
      "epoch": 1.0,
      "step": 375
    },
    {
      "train_runtime": 3812.4759,
      "train_samples_per_second": 3.148,
      "train_steps_per_second": 0.098,
      "total_flos": 2.7779852097460224e+17,
      "train_loss": 0.011218524058659871,
      "epoch": 1.0,
      "step": 375
    }
  ],
  "peak_gpu_gb": 17.76492929458618
}