| { |
| "rows": "/workspace/kev/runs/m3-v0-2b/eval-dev/rows.json", |
| "records": "/workspace/data/v0/dev.jsonl", |
| "questions": { |
| "p_success": { |
| "n": 5000, |
| "positive_rate": 0.294, |
| "auroc": 0.7576209747355033, |
| "accuracy": 0.7228, |
| "brier": 0.18649612940786864, |
| "nll": 0.5540611996156456, |
| "ece15": 0.09312909414551945, |
| "confident_error_0.9": 0.0266, |
| "auroc_ci95": [ |
| 0.7279108543262189, |
| 0.7846508363943685 |
| ], |
| "by_prefix": { |
| "0-25%": { |
| "n": 603, |
| "auroc": 0.701256597808322, |
| "auroc_ci95": [ |
| 0.6557747582963157, |
| 0.7522089947089947 |
| ], |
| "brier": 0.20918778367116037 |
| }, |
| "25-50%": { |
| "n": 1115, |
| "auroc": 0.7394869123994855, |
| "auroc_ci95": [ |
| 0.6972491003598561, |
| 0.775812491896056 |
| ], |
| "brier": 0.1892644686297327 |
| }, |
| "50-75%": { |
| "n": 1407, |
| "auroc": 0.7693346176861217, |
| "auroc_ci95": [ |
| 0.7318670274449169, |
| 0.8097922922922923 |
| ], |
| "brier": 0.18022431595778657 |
| }, |
| "75-100%": { |
| "n": 1875, |
| "auroc": 0.776883814531704, |
| "auroc_ci95": [ |
| 0.7486959269259493, |
| 0.8048058437031247 |
| ], |
| "brier": 0.18225862315246713 |
| } |
| }, |
| "by_source": { |
| "nebius/SWE-agent-trajectories": { |
| "n": 2504, |
| "positive_rate": 0.15215654952076677, |
| "auroc": 0.7540869096497181, |
| "accuracy": 0.8370607028753994, |
| "brier": 0.12195128531970446, |
| "nll": 0.39826629586598983, |
| "ece15": 0.06016502567889672, |
| "confident_error_0.9": 0.04153354632587859 |
| }, |
| "nebius/SWE-rebench-openhands-trajectories": { |
| "n": 2496, |
| "positive_rate": 0.4362980769230769, |
| "auroc": 0.6513209891771629, |
| "accuracy": 0.6081730769230769, |
| "brier": 0.2512478479963154, |
| "nll": 0.7103554460055247, |
| "ece15": 0.13895482561885647, |
| "confident_error_0.9": 0.011618589743589744 |
| } |
| }, |
| "abort": { |
| "fpr_5": { |
| "recall": 0.346742209631728, |
| "precision": 0.943716268311488, |
| "fired": 0.2594, |
| "threshold": 0.9329760601149792 |
| }, |
| "fpr_10": { |
| "recall": 0.44390934844192637, |
| "precision": 0.9142357059509918, |
| "fired": 0.3428, |
| "threshold": 0.8857344787031156 |
| }, |
| "fpr_25": { |
| "recall": 0.6288951841359773, |
| "precision": 0.8581368380363356, |
| "fired": 0.5174, |
| "threshold": 0.7688093896032779 |
| } |
| }, |
| "reliability": [ |
| { |
| "lo": 0.0, |
| "hi": 0.06666666666666667, |
| "n": 1295, |
| "confidence": 0.025890957221408988, |
| "accuracy": 0.05637065637065637 |
| }, |
| { |
| "lo": 0.06666666666666667, |
| "hi": 0.13333333333333333, |
| "n": 599, |
| "confidence": 0.09984310979017182, |
| "accuracy": 0.17696160267111852 |
| }, |
| { |
| "lo": 0.13333333333333333, |
| "hi": 0.2, |
| "n": 509, |
| "confidence": 0.16549903093579926, |
| "accuracy": 0.25736738703339884 |
| }, |
| { |
| "lo": 0.2, |
| "hi": 0.26666666666666666, |
| "n": 376, |
| "confidence": 0.23259932161391098, |
| "accuracy": 0.300531914893617 |
| }, |
| { |
| "lo": 0.26666666666666666, |
| "hi": 0.3333333333333333, |
| "n": 289, |
| "confidence": 0.2987388966375085, |
| "accuracy": 0.36678200692041524 |
| }, |
| { |
| "lo": 0.3333333333333333, |
| "hi": 0.4, |
| "n": 248, |
| "confidence": 0.3665700762049773, |
| "accuracy": 0.33064516129032256 |
| }, |
| { |
| "lo": 0.4, |
| "hi": 0.4666666666666667, |
| "n": 204, |
| "confidence": 0.4316705915003564, |
| "accuracy": 0.4166666666666667 |
| }, |
| { |
| "lo": 0.4666666666666667, |
| "hi": 0.5333333333333333, |
| "n": 183, |
| "confidence": 0.5014060008401284, |
| "accuracy": 0.44808743169398907 |
| }, |
| { |
| "lo": 0.5333333333333333, |
| "hi": 0.6, |
| "n": 192, |
| "confidence": 0.5647219814474136, |
| "accuracy": 0.421875 |
| }, |
| { |
| "lo": 0.6, |
| "hi": 0.6666666666666666, |
| "n": 182, |
| "confidence": 0.6368073537348019, |
| "accuracy": 0.47802197802197804 |
| }, |
| { |
| "lo": 0.6666666666666666, |
| "hi": 0.7333333333333333, |
| "n": 232, |
| "confidence": 0.7009208266140671, |
| "accuracy": 0.49137931034482757 |
| }, |
| { |
| "lo": 0.7333333333333333, |
| "hi": 0.8, |
| "n": 232, |
| "confidence": 0.768617382027838, |
| "accuracy": 0.5431034482758621 |
| }, |
| { |
| "lo": 0.8, |
| "hi": 0.8666666666666667, |
| "n": 306, |
| "confidence": 0.8359115340229, |
| "accuracy": 0.5718954248366013 |
| }, |
| { |
| "lo": 0.8666666666666667, |
| "hi": 0.9333333333333333, |
| "n": 141, |
| "confidence": 0.8934405943935286, |
| "accuracy": 0.7021276595744681 |
| }, |
| { |
| "lo": 0.9333333333333333, |
| "hi": 1.0, |
| "n": 12, |
| "confidence": 0.9385184777768526, |
| "accuracy": 0.8333333333333334 |
| } |
| ] |
| } |
| } |
| } |
|
|
