| { |
| "benchmark_training_data": false, |
| "config_sha256": "9d395d8618b7361a0094b98427894f8dcddb87826f1f7b86edda16c43b8c9a59", |
| "dataset": { |
| "build_id": "c1add0be0e38a9e4d710", |
| "contamination_firewall_manifest_sha256": "f1e5da89d05ff7583b4fe7115b1357c8f269df4867fc32550ba65910158e3819", |
| "data_format_version": "autojev-choice-noul-v1", |
| "factory_code_revision": "7d812dfa9e1d91dd81fe277b16898d109c1310a4c4391a2581e90ba0df5f9977", |
| "registry_config_sha256": null, |
| "registry_definition_sha256": "e567b2cb0ab30812727b0796e2ba34512289b09d74fbe184c7a5f26ed959e6b4", |
| "schema_version": 1, |
| "source_build_manifest": "../data/manifest.json", |
| "source_build_manifest_sha256": "c1add0be0e38a9e4d7107ac77208762177ba4b1d836890c27657d695536c3a49", |
| "token_validation": { |
| "adapter": "conservative_autojev_utf8_estimate", |
| "max_input_tokens": 8192 |
| }, |
| "unsupported_excluded": {} |
| }, |
| "development_metrics": { |
| "accuracy": 0.9870183906132979, |
| "brier": 0.02297331999052414, |
| "count": 12017, |
| "ece": 0.006870153272755374, |
| "nll": 0.05994911534221286, |
| "reliability": [ |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.0, |
| "upper": 0.06666666666666667 |
| }, |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.06666666666666667, |
| "upper": 0.13333333333333333 |
| }, |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.13333333333333333, |
| "upper": 0.2 |
| }, |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.2, |
| "upper": 0.26666666666666666 |
| }, |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.26666666666666666, |
| "upper": 0.3333333333333333 |
| }, |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.3333333333333333, |
| "upper": 0.4 |
| }, |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.4, |
| "upper": 0.4666666666666667 |
| }, |
| { |
| "accuracy": 0.5897435897435898, |
| "confidence": 0.4996554005859811, |
| "count": 39, |
| "lower": 0.4666666666666667, |
| "upper": 0.5333333333333333 |
| }, |
| { |
| "accuracy": 0.375, |
| "confidence": 0.5789620370288778, |
| "count": 8, |
| "lower": 0.5333333333333333, |
| "upper": 0.6 |
| }, |
| { |
| "accuracy": 0.7692307692307693, |
| "confidence": 0.6072695340045251, |
| "count": 78, |
| "lower": 0.6, |
| "upper": 0.6666666666666666 |
| }, |
| { |
| "accuracy": 0.8133333333333334, |
| "confidence": 0.7038098030921028, |
| "count": 75, |
| "lower": 0.6666666666666666, |
| "upper": 0.7333333333333333 |
| }, |
| { |
| "accuracy": 0.7878787878787878, |
| "confidence": 0.7831903022927177, |
| "count": 66, |
| "lower": 0.7333333333333333, |
| "upper": 0.8 |
| }, |
| { |
| "accuracy": 0.8115942028985508, |
| "confidence": 0.8494340495948897, |
| "count": 69, |
| "lower": 0.8, |
| "upper": 0.8666666666666667 |
| }, |
| { |
| "accuracy": 0.9574036511156186, |
| "confidence": 0.9139056824254218, |
| "count": 493, |
| "lower": 0.8666666666666667, |
| "upper": 0.9333333333333333 |
| }, |
| { |
| "accuracy": 0.9950844579497721, |
| "confidence": 0.9979624065648931, |
| "count": 11189, |
| "lower": 0.9333333333333333, |
| "upper": 1.0 |
| } |
| ], |
| "soft_brier": 0.30135174689690114, |
| "soft_count": 1500, |
| "soft_nll": 4.940627271091103, |
| "zero_probability_count": 0 |
| }, |
| "examples_seen": 160017, |
| "guard_metrics": { |
| "accuracy": 0.9871848215028709, |
| "brier": 0.022637029524968228, |
| "count": 12017, |
| "ece": 0.0073335670034909775, |
| "nll": 0.06277338607701374, |
| "reliability": [ |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.0, |
| "upper": 0.06666666666666667 |
| }, |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.06666666666666667, |
| "upper": 0.13333333333333333 |
| }, |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.13333333333333333, |
| "upper": 0.2 |
| }, |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.2, |
| "upper": 0.26666666666666666 |
| }, |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.26666666666666666, |
| "upper": 0.3333333333333333 |
| }, |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.3333333333333333, |
| "upper": 0.4 |
| }, |
| { |
| "accuracy": null, |
| "confidence": null, |
| "count": 0, |
| "lower": 0.4, |
| "upper": 0.4666666666666667 |
| }, |
| { |
| "accuracy": 0.6052631578947368, |
| "confidence": 0.49966015005442754, |
| "count": 38, |
| "lower": 0.4666666666666667, |
| "upper": 0.5333333333333333 |
| }, |
| { |
| "accuracy": 0.375, |
| "confidence": 0.5793410845451846, |
| "count": 8, |
| "lower": 0.5333333333333333, |
| "upper": 0.6 |
| }, |
| { |
| "accuracy": 0.7361111111111112, |
| "confidence": 0.6074816240743246, |
| "count": 72, |
| "lower": 0.6, |
| "upper": 0.6666666666666666 |
| }, |
| { |
| "accuracy": 0.7887323943661971, |
| "confidence": 0.703023495278596, |
| "count": 71, |
| "lower": 0.6666666666666666, |
| "upper": 0.7333333333333333 |
| }, |
| { |
| "accuracy": 0.7236842105263158, |
| "confidence": 0.7838417594471261, |
| "count": 76, |
| "lower": 0.7333333333333333, |
| "upper": 0.8 |
| }, |
| { |
| "accuracy": 0.8375, |
| "confidence": 0.8486972638883126, |
| "count": 80, |
| "lower": 0.8, |
| "upper": 0.8666666666666667 |
| }, |
| { |
| "accuracy": 0.9748427672955975, |
| "confidence": 0.9137499206757002, |
| "count": 477, |
| "lower": 0.8666666666666667, |
| "upper": 0.9333333333333333 |
| }, |
| { |
| "accuracy": 0.9951764180437696, |
| "confidence": 0.9980816555728497, |
| "count": 11195, |
| "lower": 0.9333333333333333, |
| "upper": 1.0 |
| } |
| ], |
| "soft_brier": 0.3032602812637539, |
| "soft_count": 1500, |
| "soft_nll": 4.943301235138115, |
| "zero_probability_count": 0 |
| }, |
| "handoff_sha256": "2ccab51b1d8c522f0d171b52a5b7b26e3b6e9243643882b2a03e2f2a46292ec9", |
| "runner_code_sha256": "e2f5ab23ad44d8c8db4c51fee48dc0205e5ec462203935dced5bc9206899b591", |
| "selected_step": 1251, |
| "steps": 1251, |
| "trainer_commit": "ee63c1515980491a742f0bd0685c8dc5ca1f00c3", |
| "training_input_sha256": { |
| "dataset_manifest": "2ccab51b1d8c522f0d171b52a5b7b26e3b6e9243643882b2a03e2f2a46292ec9", |
| "development": "dc862459778dc70907d5bc07f9968fa98c855ab79ad84a1194a143f27c08cff3", |
| "guard_data": "3d58a3374aaf3b9714b5af3afa76dd4bcd8faac6cece21fea299993eea6fb266", |
| "guard_reference": "8e077fb002b8b54ccf33b2bd36ff5103bfb264ae44518623872dabbebc7a2a15", |
| "guard_reference_manifest": "0da952b8792eb433992753d3bc8d981f5ff81d1d080cfed4745908f1a7f07bb8", |
| "reference": "f1894dbcef63ea51dd28c861eba38116cc606bcd607adc3aa837ae5b262a0fd4", |
| "reference_manifest": "58cb8754103732c9d1cb70bd56d713f5a200650a4cfca34c36584570e407db9b", |
| "reserve_data": "2d962903eb50e70134fdaf504ed91b5911d66ffb8b6f772ca67fd2d4b647e655", |
| "temperature": "fc838c622b1b981a2e6435bf50220297b71307503eef946921a3890e9e5f6d79", |
| "train": "a9472fd0e365b4c9cc42a4a2c3de5f84c3fa769654c7d54feb5dd50ecb995252" |
| } |
| } |
|
|
