{ "catalog": "workspace", "schema": "med_notes", "job_run_ids": [ "798436332793106" ], "code_version": "results-v1.1", "judge_endpoints": [ "databricks-gpt-oss-120b", "databricks-qwen3-next-80b-a3b-instruct" ], "judge_prompt_version": "v2", "dataset": "har1/MTS_Dialogue-Clinical_Note (MTS-Dialog, CC BY 4.0)", "judges": { "primary": "databricks-gpt-oss-120b", "secondary": "databricks-qwen3-next-80b-a3b-instruct", "cross_overall": { "n": 480, "agreement": 0.8791666666666667, "kappa": 0.5515463917525771 }, "cross_by_family": [ { "family": "biobart", "n": 120, "agreement": 0.9083333333333333, "kappa": 0.5410292072322673, "primary_faithful": 0.11666666666666667, "secondary_faithful": 0.10833333333333334 }, { "family": "biobart_large", "n": 120, "agreement": 0.875, "kappa": 0.5592556317335946, "primary_faithful": 0.15833333333333333, "secondary_faithful": 0.18333333333333332 }, { "family": "pegasus_large", "n": 120, "agreement": 0.9083333333333333, "kappa": 0.6325167037861915, "primary_faithful": 0.15833333333333333, "secondary_faithful": 0.13333333333333333 }, { "family": "t5_base", "n": 120, "agreement": 0.825, "kappa": 0.4784768211920529, "primary_faithful": 0.23333333333333334, "secondary_faithful": 0.19166666666666668 } ], "cross_reference": { "n": 40, "agreement": 0.875, "kappa": 0.6774193548387097, "primary_faithful": 0.75, "secondary_faithful": 0.725 }, "self_consistency": [ { "endpoint": "databricks-gpt-oss-120b", "n": 40, "faithful_agreement": 0.95, "score_agreement": 0.7 }, { "endpoint": "databricks-qwen3-next-80b-a3b-instruct", "n": 40, "faithful_agreement": 0.9, "score_agreement": 0.85 } ] }, "exported_at": "2026-11-07T21:45:26.187009+00:00", "n_test_examples": 132, "n_audit_examples": 40, "families": [ { "family": "biobart", "model_name": "GanjinZero/biobart-v2-base", "seeds": 3, "rougeL": 0.6312160462856918, "rougeL_sd": 0.0023130720873733236, "bertscore_f1": 0.9390486758766752, "bertscore_f1_sd": 0.00027030734250892065, "template_rate": 0.9797979797979798, "template_rate_sd": 0.019065238472905914, "na_agreement": 0.8020892433639188, "na_agreement_sd": 0.0047693295995887095, "empty_rate": 0.0, "empty_rate_sd": 0.0, "grounding_flag_rate": 0.10606060606060608, "grounding_flag_rate_sd": 0.015151515151515152, "filled_na_rate": 0.11363636363636365, "filled_na_rate_sd": 0.007575757575757576, "faithful_rate": 0.11666666666666665, "faithful_rate_sd": 0.02886751345948128, "hallucination_rate": 0.31666666666666665, "hallucination_rate_sd": 0.05204164998665331, "major_errors_per_note": 0.4666666666666666, "major_errors_per_note_sd": 0.11273124382057234, "major_omissions_per_note": 2.1666666666666665, "major_omissions_per_note_sd": 0.1664582029619849, "misplaced_per_note": 0.2916666666666667, "misplaced_per_note_sd": 0.16645820296198482, "judge_score": 2.3000000000000003, "judge_score_sd": 0.050000000000000044, "minutes": 2.5500000000000003, "minutes_sd": 0.4156921938165304, "best_epoch": 5.0, "best_epoch_sd": 0.0, "epochs_run": 7.0, "epochs_run_sd": 0.0, "num_params_m": 166.4, "num_params_m_sd": 0.0 }, { "family": "biobart_large", "model_name": "GanjinZero/biobart-v2-large", "seeds": 3, "rougeL": 0.6414217462166555, "rougeL_sd": 0.008616616120027851, "bertscore_f1": 0.9385625962356124, "bertscore_f1_sd": 0.005509126432098227, "template_rate": 0.9797979797979798, "template_rate_sd": 0.008747731351357958, "na_agreement": 0.8034760032264568, "na_agreement_sd": 0.016205929913422196, "empty_rate": 0.0025252525252525255, "empty_rate_sd": 0.0043738656756789835, "grounding_flag_rate": 0.101010101010101, "grounding_flag_rate_sd": 0.03154039393130503, "filled_na_rate": 0.12121212121212122, "filled_na_rate_sd": 0.020043570538368107, "faithful_rate": 0.15833333333333333, "faithful_rate_sd": 0.06291528696058958, "hallucination_rate": 0.31666666666666665, "hallucination_rate_sd": 0.08036375634160796, "major_errors_per_note": 0.2583333333333333, "major_errors_per_note_sd": 0.08036375634160794, "major_omissions_per_note": 1.625, "major_omissions_per_note_sd": 0.15206906325745553, "misplaced_per_note": 0.225, "misplaced_per_note_sd": 0.11456439237389601, "judge_score": 2.5666666666666664, "judge_score_sd": 0.19094065395649332, "minutes": 4.613333333333333, "minutes_sd": 0.17953644012660294, "best_epoch": 4.0, "best_epoch_sd": 0.0, "epochs_run": 6.0, "epochs_run_sd": 0.0, "num_params_m": 442.3, "num_params_m_sd": 0.0 }, { "family": "pegasus_large", "model_name": "google/pegasus-large", "seeds": 3, "rougeL": 0.6420081770875247, "rougeL_sd": 0.005216308232419591, "bertscore_f1": 0.9215173721313477, "bertscore_f1_sd": 0.0011728156498415792, "template_rate": 0.9974747474747474, "template_rate_sd": 0.004373865675678979, "na_agreement": 0.7810734463276835, "na_agreement_sd": 0.011668581667979057, "empty_rate": 0.0, "empty_rate_sd": 0.0, "grounding_flag_rate": 0.11363636363636365, "grounding_flag_rate_sd": 0.007575757575757576, "filled_na_rate": 0.09343434343434344, "filled_na_rate_sd": 0.011572160845848084, "faithful_rate": 0.15833333333333335, "faithful_rate_sd": 0.05204164998665332, "hallucination_rate": 0.25, "hallucination_rate_sd": 0.04999999999999999, "major_errors_per_note": 0.19999999999999998, "major_errors_per_note_sd": 0.04330127018922194, "major_omissions_per_note": 2.0083333333333333, "major_omissions_per_note_sd": 0.1376892636821525, "misplaced_per_note": 0.15, "misplaced_per_note_sd": 0.08660254037844387, "judge_score": 2.483333333333333, "judge_score_sd": 0.05204164998665338, "minutes": 15.803333333333333, "minutes_sd": 0.6560741827974433, "best_epoch": 15.666666666666666, "best_epoch_sd": 0.5773502691896257, "epochs_run": 17.666666666666668, "epochs_run_sd": 0.5773502691896258, "num_params_m": 570.8, "num_params_m_sd": 0.0 }, { "family": "t5_base", "model_name": "google-t5/t5-base", "seeds": 3, "rougeL": 0.6417534176371117, "rougeL_sd": 0.005162796966113852, "bertscore_f1": 0.9221624437004629, "bertscore_f1_sd": 0.0012548454763879554, "template_rate": 0.9671717171717171, "template_rate_sd": 0.03887576848065824, "na_agreement": 0.7988972120999057, "na_agreement_sd": 0.01790412487912863, "empty_rate": 0.0, "empty_rate_sd": 0.0, "grounding_flag_rate": 0.07575757575757576, "grounding_flag_rate_sd": 0.013121597027036955, "filled_na_rate": 0.12121212121212122, "filled_na_rate_sd": 0.007575757575757576, "faithful_rate": 0.2333333333333333, "faithful_rate_sd": 0.05204164998665333, "hallucination_rate": 0.225, "hallucination_rate_sd": 0.05000000000000002, "major_errors_per_note": 0.23333333333333336, "major_errors_per_note_sd": 0.2753785273643051, "major_omissions_per_note": 1.7833333333333332, "major_omissions_per_note_sd": 0.1941863366288507, "misplaced_per_note": 0.40833333333333327, "misplaced_per_note_sd": 0.3642915499065732, "judge_score": 2.65, "judge_score_sd": 0.12990381056766587, "minutes": 4.086666666666666, "minutes_sd": 0.02516611478423618, "best_epoch": 4.0, "best_epoch_sd": 0.0, "epochs_run": 6.0, "epochs_run_sd": 0.0, "num_params_m": 222.9, "num_params_m_sd": 0.0 } ], "reference": { "template_rate": 0.8939393939393939, "grounding_flag_rate": 0.4772727272727273, "faithful_rate": 0.75, "hallucination_rate": 0.3, "judge_score": 3.925 }, "calibration": [ { "family": "biobart", "judged": 120, "flag_rate": 0.2, "judge_hallucination_rate": 0.31666666666666665, "precision": 0.875, "recall": 0.5526315789473685 }, { "family": "biobart_large", "judged": 120, "flag_rate": 0.15833333333333333, "judge_hallucination_rate": 0.31666666666666665, "precision": 0.7894736842105263, "recall": 0.39473684210526316 }, { "family": "pegasus_large", "judged": 120, "flag_rate": 0.2, "judge_hallucination_rate": 0.25, "precision": 0.7916666666666666, "recall": 0.6333333333333333 }, { "family": "t5_base", "judged": 120, "flag_rate": 0.15833333333333333, "judge_hallucination_rate": 0.225, "precision": 0.6842105263157895, "recall": 0.48148148148148145 } ], "training_cost": { "billable_minutes": 85.13333333333334, "estimated_usd": 1.7843, "instance_type": "ml.g5.xlarge" } }