Download data/summary.json from itstheryguy/clinical-note-summarization: direct link, hf CLI and curl.
- Browser
- Download file 9.59 kB
-
https://huggingface.co/spaces/itstheryguy/clinical-note-summarization/resolve/main/data/summary.json
- Command line
-
hf download hf://spaces/itstheryguy/clinical-note-summarization/data/summary.json
-
curl -L -o summary.json https://huggingface.co/spaces/itstheryguy/clinical-note-summarization/resolve/main/data/summary.json
9.59 kB
| { | |
| "catalog": "workspace", | |
| "schema": "med_notes", | |
| "job_run_ids": [ | |
| "798436332793106" | |
| ], | |
| "code_version": "results-v1.1", | |
| "judge_endpoints": [ | |
| "databricks-gpt-oss-120b", | |
| "databricks-qwen3-next-80b-a3b-instruct" | |
| ], | |
| "judge_prompt_version": "v2", | |
| "dataset": "har1/MTS_Dialogue-Clinical_Note (MTS-Dialog, CC BY 4.0)", | |
| "judges": { | |
| "primary": "databricks-gpt-oss-120b", | |
| "secondary": "databricks-qwen3-next-80b-a3b-instruct", | |
| "cross_overall": { | |
| "n": 480, | |
| "agreement": 0.8791666666666667, | |
| "kappa": 0.5515463917525771 | |
| }, | |
| "cross_by_family": [ | |
| { | |
| "family": "biobart", | |
| "n": 120, | |
| "agreement": 0.9083333333333333, | |
| "kappa": 0.5410292072322673, | |
| "primary_faithful": 0.11666666666666667, | |
| "secondary_faithful": 0.10833333333333334 | |
| }, | |
| { | |
| "family": "biobart_large", | |
| "n": 120, | |
| "agreement": 0.875, | |
| "kappa": 0.5592556317335946, | |
| "primary_faithful": 0.15833333333333333, | |
| "secondary_faithful": 0.18333333333333332 | |
| }, | |
| { | |
| "family": "pegasus_large", | |
| "n": 120, | |
| "agreement": 0.9083333333333333, | |
| "kappa": 0.6325167037861915, | |
| "primary_faithful": 0.15833333333333333, | |
| "secondary_faithful": 0.13333333333333333 | |
| }, | |
| { | |
| "family": "t5_base", | |
| "n": 120, | |
| "agreement": 0.825, | |
| "kappa": 0.4784768211920529, | |
| "primary_faithful": 0.23333333333333334, | |
| "secondary_faithful": 0.19166666666666668 | |
| } | |
| ], | |
| "cross_reference": { | |
| "n": 40, | |
| "agreement": 0.875, | |
| "kappa": 0.6774193548387097, | |
| "primary_faithful": 0.75, | |
| "secondary_faithful": 0.725 | |
| }, | |
| "self_consistency": [ | |
| { | |
| "endpoint": "databricks-gpt-oss-120b", | |
| "n": 40, | |
| "faithful_agreement": 0.95, | |
| "score_agreement": 0.7 | |
| }, | |
| { | |
| "endpoint": "databricks-qwen3-next-80b-a3b-instruct", | |
| "n": 40, | |
| "faithful_agreement": 0.9, | |
| "score_agreement": 0.85 | |
| } | |
| ] | |
| }, | |
| "exported_at": "2026-11-07T21:45:26.187009+00:00", | |
| "n_test_examples": 132, | |
| "n_audit_examples": 40, | |
| "families": [ | |
| { | |
| "family": "biobart", | |
| "model_name": "GanjinZero/biobart-v2-base", | |
| "seeds": 3, | |
| "rougeL": 0.6312160462856918, | |
| "rougeL_sd": 0.0023130720873733236, | |
| "bertscore_f1": 0.9390486758766752, | |
| "bertscore_f1_sd": 0.00027030734250892065, | |
| "template_rate": 0.9797979797979798, | |
| "template_rate_sd": 0.019065238472905914, | |
| "na_agreement": 0.8020892433639188, | |
| "na_agreement_sd": 0.0047693295995887095, | |
| "empty_rate": 0.0, | |
| "empty_rate_sd": 0.0, | |
| "grounding_flag_rate": 0.10606060606060608, | |
| "grounding_flag_rate_sd": 0.015151515151515152, | |
| "filled_na_rate": 0.11363636363636365, | |
| "filled_na_rate_sd": 0.007575757575757576, | |
| "faithful_rate": 0.11666666666666665, | |
| "faithful_rate_sd": 0.02886751345948128, | |
| "hallucination_rate": 0.31666666666666665, | |
| "hallucination_rate_sd": 0.05204164998665331, | |
| "major_errors_per_note": 0.4666666666666666, | |
| "major_errors_per_note_sd": 0.11273124382057234, | |
| "major_omissions_per_note": 2.1666666666666665, | |
| "major_omissions_per_note_sd": 0.1664582029619849, | |
| "misplaced_per_note": 0.2916666666666667, | |
| "misplaced_per_note_sd": 0.16645820296198482, | |
| "judge_score": 2.3000000000000003, | |
| "judge_score_sd": 0.050000000000000044, | |
| "minutes": 2.5500000000000003, | |
| "minutes_sd": 0.4156921938165304, | |
| "best_epoch": 5.0, | |
| "best_epoch_sd": 0.0, | |
| "epochs_run": 7.0, | |
| "epochs_run_sd": 0.0, | |
| "num_params_m": 166.4, | |
| "num_params_m_sd": 0.0 | |
| }, | |
| { | |
| "family": "biobart_large", | |
| "model_name": "GanjinZero/biobart-v2-large", | |
| "seeds": 3, | |
| "rougeL": 0.6414217462166555, | |
| "rougeL_sd": 0.008616616120027851, | |
| "bertscore_f1": 0.9385625962356124, | |
| "bertscore_f1_sd": 0.005509126432098227, | |
| "template_rate": 0.9797979797979798, | |
| "template_rate_sd": 0.008747731351357958, | |
| "na_agreement": 0.8034760032264568, | |
| "na_agreement_sd": 0.016205929913422196, | |
| "empty_rate": 0.0025252525252525255, | |
| "empty_rate_sd": 0.0043738656756789835, | |
| "grounding_flag_rate": 0.101010101010101, | |
| "grounding_flag_rate_sd": 0.03154039393130503, | |
| "filled_na_rate": 0.12121212121212122, | |
| "filled_na_rate_sd": 0.020043570538368107, | |
| "faithful_rate": 0.15833333333333333, | |
| "faithful_rate_sd": 0.06291528696058958, | |
| "hallucination_rate": 0.31666666666666665, | |
| "hallucination_rate_sd": 0.08036375634160796, | |
| "major_errors_per_note": 0.2583333333333333, | |
| "major_errors_per_note_sd": 0.08036375634160794, | |
| "major_omissions_per_note": 1.625, | |
| "major_omissions_per_note_sd": 0.15206906325745553, | |
| "misplaced_per_note": 0.225, | |
| "misplaced_per_note_sd": 0.11456439237389601, | |
| "judge_score": 2.5666666666666664, | |
| "judge_score_sd": 0.19094065395649332, | |
| "minutes": 4.613333333333333, | |
| "minutes_sd": 0.17953644012660294, | |
| "best_epoch": 4.0, | |
| "best_epoch_sd": 0.0, | |
| "epochs_run": 6.0, | |
| "epochs_run_sd": 0.0, | |
| "num_params_m": 442.3, | |
| "num_params_m_sd": 0.0 | |
| }, | |
| { | |
| "family": "pegasus_large", | |
| "model_name": "google/pegasus-large", | |
| "seeds": 3, | |
| "rougeL": 0.6420081770875247, | |
| "rougeL_sd": 0.005216308232419591, | |
| "bertscore_f1": 0.9215173721313477, | |
| "bertscore_f1_sd": 0.0011728156498415792, | |
| "template_rate": 0.9974747474747474, | |
| "template_rate_sd": 0.004373865675678979, | |
| "na_agreement": 0.7810734463276835, | |
| "na_agreement_sd": 0.011668581667979057, | |
| "empty_rate": 0.0, | |
| "empty_rate_sd": 0.0, | |
| "grounding_flag_rate": 0.11363636363636365, | |
| "grounding_flag_rate_sd": 0.007575757575757576, | |
| "filled_na_rate": 0.09343434343434344, | |
| "filled_na_rate_sd": 0.011572160845848084, | |
| "faithful_rate": 0.15833333333333335, | |
| "faithful_rate_sd": 0.05204164998665332, | |
| "hallucination_rate": 0.25, | |
| "hallucination_rate_sd": 0.04999999999999999, | |
| "major_errors_per_note": 0.19999999999999998, | |
| "major_errors_per_note_sd": 0.04330127018922194, | |
| "major_omissions_per_note": 2.0083333333333333, | |
| "major_omissions_per_note_sd": 0.1376892636821525, | |
| "misplaced_per_note": 0.15, | |
| "misplaced_per_note_sd": 0.08660254037844387, | |
| "judge_score": 2.483333333333333, | |
| "judge_score_sd": 0.05204164998665338, | |
| "minutes": 15.803333333333333, | |
| "minutes_sd": 0.6560741827974433, | |
| "best_epoch": 15.666666666666666, | |
| "best_epoch_sd": 0.5773502691896257, | |
| "epochs_run": 17.666666666666668, | |
| "epochs_run_sd": 0.5773502691896258, | |
| "num_params_m": 570.8, | |
| "num_params_m_sd": 0.0 | |
| }, | |
| { | |
| "family": "t5_base", | |
| "model_name": "google-t5/t5-base", | |
| "seeds": 3, | |
| "rougeL": 0.6417534176371117, | |
| "rougeL_sd": 0.005162796966113852, | |
| "bertscore_f1": 0.9221624437004629, | |
| "bertscore_f1_sd": 0.0012548454763879554, | |
| "template_rate": 0.9671717171717171, | |
| "template_rate_sd": 0.03887576848065824, | |
| "na_agreement": 0.7988972120999057, | |
| "na_agreement_sd": 0.01790412487912863, | |
| "empty_rate": 0.0, | |
| "empty_rate_sd": 0.0, | |
| "grounding_flag_rate": 0.07575757575757576, | |
| "grounding_flag_rate_sd": 0.013121597027036955, | |
| "filled_na_rate": 0.12121212121212122, | |
| "filled_na_rate_sd": 0.007575757575757576, | |
| "faithful_rate": 0.2333333333333333, | |
| "faithful_rate_sd": 0.05204164998665333, | |
| "hallucination_rate": 0.225, | |
| "hallucination_rate_sd": 0.05000000000000002, | |
| "major_errors_per_note": 0.23333333333333336, | |
| "major_errors_per_note_sd": 0.2753785273643051, | |
| "major_omissions_per_note": 1.7833333333333332, | |
| "major_omissions_per_note_sd": 0.1941863366288507, | |
| "misplaced_per_note": 0.40833333333333327, | |
| "misplaced_per_note_sd": 0.3642915499065732, | |
| "judge_score": 2.65, | |
| "judge_score_sd": 0.12990381056766587, | |
| "minutes": 4.086666666666666, | |
| "minutes_sd": 0.02516611478423618, | |
| "best_epoch": 4.0, | |
| "best_epoch_sd": 0.0, | |
| "epochs_run": 6.0, | |
| "epochs_run_sd": 0.0, | |
| "num_params_m": 222.9, | |
| "num_params_m_sd": 0.0 | |
| } | |
| ], | |
| "reference": { | |
| "template_rate": 0.8939393939393939, | |
| "grounding_flag_rate": 0.4772727272727273, | |
| "faithful_rate": 0.75, | |
| "hallucination_rate": 0.3, | |
| "judge_score": 3.925 | |
| }, | |
| "calibration": [ | |
| { | |
| "family": "biobart", | |
| "judged": 120, | |
| "flag_rate": 0.2, | |
| "judge_hallucination_rate": 0.31666666666666665, | |
| "precision": 0.875, | |
| "recall": 0.5526315789473685 | |
| }, | |
| { | |
| "family": "biobart_large", | |
| "judged": 120, | |
| "flag_rate": 0.15833333333333333, | |
| "judge_hallucination_rate": 0.31666666666666665, | |
| "precision": 0.7894736842105263, | |
| "recall": 0.39473684210526316 | |
| }, | |
| { | |
| "family": "pegasus_large", | |
| "judged": 120, | |
| "flag_rate": 0.2, | |
| "judge_hallucination_rate": 0.25, | |
| "precision": 0.7916666666666666, | |
| "recall": 0.6333333333333333 | |
| }, | |
| { | |
| "family": "t5_base", | |
| "judged": 120, | |
| "flag_rate": 0.15833333333333333, | |
| "judge_hallucination_rate": 0.225, | |
| "precision": 0.6842105263157895, | |
| "recall": 0.48148148148148145 | |
| } | |
| ], | |
| "training_cost": { | |
| "billable_minutes": 85.13333333333334, | |
| "estimated_usd": 1.7843, | |
| "instance_type": "ml.g5.xlarge" | |
| } | |
| } |