itstheryguy's picture
results-v1.1: judge v2 with a second judge and reliability checks
25aa382 verified
Raw History Blame Contribute Delete
9.59 kB
{
"catalog": "workspace",
"schema": "med_notes",
"job_run_ids": [
"798436332793106"
],
"code_version": "results-v1.1",
"judge_endpoints": [
"databricks-gpt-oss-120b",
"databricks-qwen3-next-80b-a3b-instruct"
],
"judge_prompt_version": "v2",
"dataset": "har1/MTS_Dialogue-Clinical_Note (MTS-Dialog, CC BY 4.0)",
"judges": {
"primary": "databricks-gpt-oss-120b",
"secondary": "databricks-qwen3-next-80b-a3b-instruct",
"cross_overall": {
"n": 480,
"agreement": 0.8791666666666667,
"kappa": 0.5515463917525771
},
"cross_by_family": [
{
"family": "biobart",
"n": 120,
"agreement": 0.9083333333333333,
"kappa": 0.5410292072322673,
"primary_faithful": 0.11666666666666667,
"secondary_faithful": 0.10833333333333334
},
{
"family": "biobart_large",
"n": 120,
"agreement": 0.875,
"kappa": 0.5592556317335946,
"primary_faithful": 0.15833333333333333,
"secondary_faithful": 0.18333333333333332
},
{
"family": "pegasus_large",
"n": 120,
"agreement": 0.9083333333333333,
"kappa": 0.6325167037861915,
"primary_faithful": 0.15833333333333333,
"secondary_faithful": 0.13333333333333333
},
{
"family": "t5_base",
"n": 120,
"agreement": 0.825,
"kappa": 0.4784768211920529,
"primary_faithful": 0.23333333333333334,
"secondary_faithful": 0.19166666666666668
}
],
"cross_reference": {
"n": 40,
"agreement": 0.875,
"kappa": 0.6774193548387097,
"primary_faithful": 0.75,
"secondary_faithful": 0.725
},
"self_consistency": [
{
"endpoint": "databricks-gpt-oss-120b",
"n": 40,
"faithful_agreement": 0.95,
"score_agreement": 0.7
},
{
"endpoint": "databricks-qwen3-next-80b-a3b-instruct",
"n": 40,
"faithful_agreement": 0.9,
"score_agreement": 0.85
}
]
},
"exported_at": "2026-11-07T21:45:26.187009+00:00",
"n_test_examples": 132,
"n_audit_examples": 40,
"families": [
{
"family": "biobart",
"model_name": "GanjinZero/biobart-v2-base",
"seeds": 3,
"rougeL": 0.6312160462856918,
"rougeL_sd": 0.0023130720873733236,
"bertscore_f1": 0.9390486758766752,
"bertscore_f1_sd": 0.00027030734250892065,
"template_rate": 0.9797979797979798,
"template_rate_sd": 0.019065238472905914,
"na_agreement": 0.8020892433639188,
"na_agreement_sd": 0.0047693295995887095,
"empty_rate": 0.0,
"empty_rate_sd": 0.0,
"grounding_flag_rate": 0.10606060606060608,
"grounding_flag_rate_sd": 0.015151515151515152,
"filled_na_rate": 0.11363636363636365,
"filled_na_rate_sd": 0.007575757575757576,
"faithful_rate": 0.11666666666666665,
"faithful_rate_sd": 0.02886751345948128,
"hallucination_rate": 0.31666666666666665,
"hallucination_rate_sd": 0.05204164998665331,
"major_errors_per_note": 0.4666666666666666,
"major_errors_per_note_sd": 0.11273124382057234,
"major_omissions_per_note": 2.1666666666666665,
"major_omissions_per_note_sd": 0.1664582029619849,
"misplaced_per_note": 0.2916666666666667,
"misplaced_per_note_sd": 0.16645820296198482,
"judge_score": 2.3000000000000003,
"judge_score_sd": 0.050000000000000044,
"minutes": 2.5500000000000003,
"minutes_sd": 0.4156921938165304,
"best_epoch": 5.0,
"best_epoch_sd": 0.0,
"epochs_run": 7.0,
"epochs_run_sd": 0.0,
"num_params_m": 166.4,
"num_params_m_sd": 0.0
},
{
"family": "biobart_large",
"model_name": "GanjinZero/biobart-v2-large",
"seeds": 3,
"rougeL": 0.6414217462166555,
"rougeL_sd": 0.008616616120027851,
"bertscore_f1": 0.9385625962356124,
"bertscore_f1_sd": 0.005509126432098227,
"template_rate": 0.9797979797979798,
"template_rate_sd": 0.008747731351357958,
"na_agreement": 0.8034760032264568,
"na_agreement_sd": 0.016205929913422196,
"empty_rate": 0.0025252525252525255,
"empty_rate_sd": 0.0043738656756789835,
"grounding_flag_rate": 0.101010101010101,
"grounding_flag_rate_sd": 0.03154039393130503,
"filled_na_rate": 0.12121212121212122,
"filled_na_rate_sd": 0.020043570538368107,
"faithful_rate": 0.15833333333333333,
"faithful_rate_sd": 0.06291528696058958,
"hallucination_rate": 0.31666666666666665,
"hallucination_rate_sd": 0.08036375634160796,
"major_errors_per_note": 0.2583333333333333,
"major_errors_per_note_sd": 0.08036375634160794,
"major_omissions_per_note": 1.625,
"major_omissions_per_note_sd": 0.15206906325745553,
"misplaced_per_note": 0.225,
"misplaced_per_note_sd": 0.11456439237389601,
"judge_score": 2.5666666666666664,
"judge_score_sd": 0.19094065395649332,
"minutes": 4.613333333333333,
"minutes_sd": 0.17953644012660294,
"best_epoch": 4.0,
"best_epoch_sd": 0.0,
"epochs_run": 6.0,
"epochs_run_sd": 0.0,
"num_params_m": 442.3,
"num_params_m_sd": 0.0
},
{
"family": "pegasus_large",
"model_name": "google/pegasus-large",
"seeds": 3,
"rougeL": 0.6420081770875247,
"rougeL_sd": 0.005216308232419591,
"bertscore_f1": 0.9215173721313477,
"bertscore_f1_sd": 0.0011728156498415792,
"template_rate": 0.9974747474747474,
"template_rate_sd": 0.004373865675678979,
"na_agreement": 0.7810734463276835,
"na_agreement_sd": 0.011668581667979057,
"empty_rate": 0.0,
"empty_rate_sd": 0.0,
"grounding_flag_rate": 0.11363636363636365,
"grounding_flag_rate_sd": 0.007575757575757576,
"filled_na_rate": 0.09343434343434344,
"filled_na_rate_sd": 0.011572160845848084,
"faithful_rate": 0.15833333333333335,
"faithful_rate_sd": 0.05204164998665332,
"hallucination_rate": 0.25,
"hallucination_rate_sd": 0.04999999999999999,
"major_errors_per_note": 0.19999999999999998,
"major_errors_per_note_sd": 0.04330127018922194,
"major_omissions_per_note": 2.0083333333333333,
"major_omissions_per_note_sd": 0.1376892636821525,
"misplaced_per_note": 0.15,
"misplaced_per_note_sd": 0.08660254037844387,
"judge_score": 2.483333333333333,
"judge_score_sd": 0.05204164998665338,
"minutes": 15.803333333333333,
"minutes_sd": 0.6560741827974433,
"best_epoch": 15.666666666666666,
"best_epoch_sd": 0.5773502691896257,
"epochs_run": 17.666666666666668,
"epochs_run_sd": 0.5773502691896258,
"num_params_m": 570.8,
"num_params_m_sd": 0.0
},
{
"family": "t5_base",
"model_name": "google-t5/t5-base",
"seeds": 3,
"rougeL": 0.6417534176371117,
"rougeL_sd": 0.005162796966113852,
"bertscore_f1": 0.9221624437004629,
"bertscore_f1_sd": 0.0012548454763879554,
"template_rate": 0.9671717171717171,
"template_rate_sd": 0.03887576848065824,
"na_agreement": 0.7988972120999057,
"na_agreement_sd": 0.01790412487912863,
"empty_rate": 0.0,
"empty_rate_sd": 0.0,
"grounding_flag_rate": 0.07575757575757576,
"grounding_flag_rate_sd": 0.013121597027036955,
"filled_na_rate": 0.12121212121212122,
"filled_na_rate_sd": 0.007575757575757576,
"faithful_rate": 0.2333333333333333,
"faithful_rate_sd": 0.05204164998665333,
"hallucination_rate": 0.225,
"hallucination_rate_sd": 0.05000000000000002,
"major_errors_per_note": 0.23333333333333336,
"major_errors_per_note_sd": 0.2753785273643051,
"major_omissions_per_note": 1.7833333333333332,
"major_omissions_per_note_sd": 0.1941863366288507,
"misplaced_per_note": 0.40833333333333327,
"misplaced_per_note_sd": 0.3642915499065732,
"judge_score": 2.65,
"judge_score_sd": 0.12990381056766587,
"minutes": 4.086666666666666,
"minutes_sd": 0.02516611478423618,
"best_epoch": 4.0,
"best_epoch_sd": 0.0,
"epochs_run": 6.0,
"epochs_run_sd": 0.0,
"num_params_m": 222.9,
"num_params_m_sd": 0.0
}
],
"reference": {
"template_rate": 0.8939393939393939,
"grounding_flag_rate": 0.4772727272727273,
"faithful_rate": 0.75,
"hallucination_rate": 0.3,
"judge_score": 3.925
},
"calibration": [
{
"family": "biobart",
"judged": 120,
"flag_rate": 0.2,
"judge_hallucination_rate": 0.31666666666666665,
"precision": 0.875,
"recall": 0.5526315789473685
},
{
"family": "biobart_large",
"judged": 120,
"flag_rate": 0.15833333333333333,
"judge_hallucination_rate": 0.31666666666666665,
"precision": 0.7894736842105263,
"recall": 0.39473684210526316
},
{
"family": "pegasus_large",
"judged": 120,
"flag_rate": 0.2,
"judge_hallucination_rate": 0.25,
"precision": 0.7916666666666666,
"recall": 0.6333333333333333
},
{
"family": "t5_base",
"judged": 120,
"flag_rate": 0.15833333333333333,
"judge_hallucination_rate": 0.225,
"precision": 0.6842105263157895,
"recall": 0.48148148148148145
}
],
"training_cost": {
"billable_minutes": 85.13333333333334,
"estimated_usd": 1.7843,
"instance_type": "ml.g5.xlarge"
}
}