{
  "benchmark_training_data": false,
  "config_sha256": "9d395d8618b7361a0094b98427894f8dcddb87826f1f7b86edda16c43b8c9a59",
  "dataset": {
    "build_id": "c1add0be0e38a9e4d710",
    "contamination_firewall_manifest_sha256": "f1e5da89d05ff7583b4fe7115b1357c8f269df4867fc32550ba65910158e3819",
    "data_format_version": "autojev-choice-noul-v1",
    "factory_code_revision": "7d812dfa9e1d91dd81fe277b16898d109c1310a4c4391a2581e90ba0df5f9977",
    "registry_config_sha256": null,
    "registry_definition_sha256": "e567b2cb0ab30812727b0796e2ba34512289b09d74fbe184c7a5f26ed959e6b4",
    "schema_version": 1,
    "source_build_manifest": "../data/manifest.json",
    "source_build_manifest_sha256": "c1add0be0e38a9e4d7107ac77208762177ba4b1d836890c27657d695536c3a49",
    "token_validation": {
      "adapter": "conservative_autojev_utf8_estimate",
      "max_input_tokens": 8192
    },
    "unsupported_excluded": {}
  },
  "development_metrics": {
    "accuracy": 0.9870183906132979,
    "brier": 0.02297331999052414,
    "count": 12017,
    "ece": 0.006870153272755374,
    "nll": 0.05994911534221286,
    "reliability": [
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.0,
        "upper": 0.06666666666666667
      },
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.06666666666666667,
        "upper": 0.13333333333333333
      },
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.13333333333333333,
        "upper": 0.2
      },
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.2,
        "upper": 0.26666666666666666
      },
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.26666666666666666,
        "upper": 0.3333333333333333
      },
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.3333333333333333,
        "upper": 0.4
      },
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.4,
        "upper": 0.4666666666666667
      },
      {
        "accuracy": 0.5897435897435898,
        "confidence": 0.4996554005859811,
        "count": 39,
        "lower": 0.4666666666666667,
        "upper": 0.5333333333333333
      },
      {
        "accuracy": 0.375,
        "confidence": 0.5789620370288778,
        "count": 8,
        "lower": 0.5333333333333333,
        "upper": 0.6
      },
      {
        "accuracy": 0.7692307692307693,
        "confidence": 0.6072695340045251,
        "count": 78,
        "lower": 0.6,
        "upper": 0.6666666666666666
      },
      {
        "accuracy": 0.8133333333333334,
        "confidence": 0.7038098030921028,
        "count": 75,
        "lower": 0.6666666666666666,
        "upper": 0.7333333333333333
      },
      {
        "accuracy": 0.7878787878787878,
        "confidence": 0.7831903022927177,
        "count": 66,
        "lower": 0.7333333333333333,
        "upper": 0.8
      },
      {
        "accuracy": 0.8115942028985508,
        "confidence": 0.8494340495948897,
        "count": 69,
        "lower": 0.8,
        "upper": 0.8666666666666667
      },
      {
        "accuracy": 0.9574036511156186,
        "confidence": 0.9139056824254218,
        "count": 493,
        "lower": 0.8666666666666667,
        "upper": 0.9333333333333333
      },
      {
        "accuracy": 0.9950844579497721,
        "confidence": 0.9979624065648931,
        "count": 11189,
        "lower": 0.9333333333333333,
        "upper": 1.0
      }
    ],
    "soft_brier": 0.30135174689690114,
    "soft_count": 1500,
    "soft_nll": 4.940627271091103,
    "zero_probability_count": 0
  },
  "examples_seen": 160017,
  "guard_metrics": {
    "accuracy": 0.9871848215028709,
    "brier": 0.022637029524968228,
    "count": 12017,
    "ece": 0.0073335670034909775,
    "nll": 0.06277338607701374,
    "reliability": [
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.0,
        "upper": 0.06666666666666667
      },
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.06666666666666667,
        "upper": 0.13333333333333333
      },
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.13333333333333333,
        "upper": 0.2
      },
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.2,
        "upper": 0.26666666666666666
      },
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.26666666666666666,
        "upper": 0.3333333333333333
      },
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.3333333333333333,
        "upper": 0.4
      },
      {
        "accuracy": null,
        "confidence": null,
        "count": 0,
        "lower": 0.4,
        "upper": 0.4666666666666667
      },
      {
        "accuracy": 0.6052631578947368,
        "confidence": 0.49966015005442754,
        "count": 38,
        "lower": 0.4666666666666667,
        "upper": 0.5333333333333333
      },
      {
        "accuracy": 0.375,
        "confidence": 0.5793410845451846,
        "count": 8,
        "lower": 0.5333333333333333,
        "upper": 0.6
      },
      {
        "accuracy": 0.7361111111111112,
        "confidence": 0.6074816240743246,
        "count": 72,
        "lower": 0.6,
        "upper": 0.6666666666666666
      },
      {
        "accuracy": 0.7887323943661971,
        "confidence": 0.703023495278596,
        "count": 71,
        "lower": 0.6666666666666666,
        "upper": 0.7333333333333333
      },
      {
        "accuracy": 0.7236842105263158,
        "confidence": 0.7838417594471261,
        "count": 76,
        "lower": 0.7333333333333333,
        "upper": 0.8
      },
      {
        "accuracy": 0.8375,
        "confidence": 0.8486972638883126,
        "count": 80,
        "lower": 0.8,
        "upper": 0.8666666666666667
      },
      {
        "accuracy": 0.9748427672955975,
        "confidence": 0.9137499206757002,
        "count": 477,
        "lower": 0.8666666666666667,
        "upper": 0.9333333333333333
      },
      {
        "accuracy": 0.9951764180437696,
        "confidence": 0.9980816555728497,
        "count": 11195,
        "lower": 0.9333333333333333,
        "upper": 1.0
      }
    ],
    "soft_brier": 0.3032602812637539,
    "soft_count": 1500,
    "soft_nll": 4.943301235138115,
    "zero_probability_count": 0
  },
  "handoff_sha256": "2ccab51b1d8c522f0d171b52a5b7b26e3b6e9243643882b2a03e2f2a46292ec9",
  "runner_code_sha256": "e2f5ab23ad44d8c8db4c51fee48dc0205e5ec462203935dced5bc9206899b591",
  "selected_step": 1251,
  "steps": 1251,
  "trainer_commit": "ee63c1515980491a742f0bd0685c8dc5ca1f00c3",
  "training_input_sha256": {
    "dataset_manifest": "2ccab51b1d8c522f0d171b52a5b7b26e3b6e9243643882b2a03e2f2a46292ec9",
    "development": "dc862459778dc70907d5bc07f9968fa98c855ab79ad84a1194a143f27c08cff3",
    "guard_data": "3d58a3374aaf3b9714b5af3afa76dd4bcd8faac6cece21fea299993eea6fb266",
    "guard_reference": "8e077fb002b8b54ccf33b2bd36ff5103bfb264ae44518623872dabbebc7a2a15",
    "guard_reference_manifest": "0da952b8792eb433992753d3bc8d981f5ff81d1d080cfed4745908f1a7f07bb8",
    "reference": "f1894dbcef63ea51dd28c861eba38116cc606bcd607adc3aa837ae5b262a0fd4",
    "reference_manifest": "58cb8754103732c9d1cb70bd56d713f5a200650a4cfca34c36584570e407db9b",
    "reserve_data": "2d962903eb50e70134fdaf504ed91b5911d66ffb8b6f772ca67fd2d4b647e655",
    "temperature": "fc838c622b1b981a2e6435bf50220297b71307503eef946921a3890e9e5f6d79",
    "train": "a9472fd0e365b4c9cc42a4a2c3de5f84c3fa769654c7d54feb5dd50ecb995252"
  }
}