{
 "rows": "/workspace/kev/runs/m3-v0-2b/eval-dev/rows.json",
 "records": "/workspace/data/v0/dev.jsonl",
 "questions": {
  "p_success": {
   "n": 5000,
   "positive_rate": 0.294,
   "auroc": 0.7576209747355033,
   "accuracy": 0.7228,
   "brier": 0.18649612940786864,
   "nll": 0.5540611996156456,
   "ece15": 0.09312909414551945,
   "confident_error_0.9": 0.0266,
   "auroc_ci95": [
    0.7279108543262189,
    0.7846508363943685
   ],
   "by_prefix": {
    "0-25%": {
     "n": 603,
     "auroc": 0.701256597808322,
     "auroc_ci95": [
      0.6557747582963157,
      0.7522089947089947
     ],
     "brier": 0.20918778367116037
    },
    "25-50%": {
     "n": 1115,
     "auroc": 0.7394869123994855,
     "auroc_ci95": [
      0.6972491003598561,
      0.775812491896056
     ],
     "brier": 0.1892644686297327
    },
    "50-75%": {
     "n": 1407,
     "auroc": 0.7693346176861217,
     "auroc_ci95": [
      0.7318670274449169,
      0.8097922922922923
     ],
     "brier": 0.18022431595778657
    },
    "75-100%": {
     "n": 1875,
     "auroc": 0.776883814531704,
     "auroc_ci95": [
      0.7486959269259493,
      0.8048058437031247
     ],
     "brier": 0.18225862315246713
    }
   },
   "by_source": {
    "nebius/SWE-agent-trajectories": {
     "n": 2504,
     "positive_rate": 0.15215654952076677,
     "auroc": 0.7540869096497181,
     "accuracy": 0.8370607028753994,
     "brier": 0.12195128531970446,
     "nll": 0.39826629586598983,
     "ece15": 0.06016502567889672,
     "confident_error_0.9": 0.04153354632587859
    },
    "nebius/SWE-rebench-openhands-trajectories": {
     "n": 2496,
     "positive_rate": 0.4362980769230769,
     "auroc": 0.6513209891771629,
     "accuracy": 0.6081730769230769,
     "brier": 0.2512478479963154,
     "nll": 0.7103554460055247,
     "ece15": 0.13895482561885647,
     "confident_error_0.9": 0.011618589743589744
    }
   },
   "abort": {
    "fpr_5": {
     "recall": 0.346742209631728,
     "precision": 0.943716268311488,
     "fired": 0.2594,
     "threshold": 0.9329760601149792
    },
    "fpr_10": {
     "recall": 0.44390934844192637,
     "precision": 0.9142357059509918,
     "fired": 0.3428,
     "threshold": 0.8857344787031156
    },
    "fpr_25": {
     "recall": 0.6288951841359773,
     "precision": 0.8581368380363356,
     "fired": 0.5174,
     "threshold": 0.7688093896032779
    }
   },
   "reliability": [
    {
     "lo": 0.0,
     "hi": 0.06666666666666667,
     "n": 1295,
     "confidence": 0.025890957221408988,
     "accuracy": 0.05637065637065637
    },
    {
     "lo": 0.06666666666666667,
     "hi": 0.13333333333333333,
     "n": 599,
     "confidence": 0.09984310979017182,
     "accuracy": 0.17696160267111852
    },
    {
     "lo": 0.13333333333333333,
     "hi": 0.2,
     "n": 509,
     "confidence": 0.16549903093579926,
     "accuracy": 0.25736738703339884
    },
    {
     "lo": 0.2,
     "hi": 0.26666666666666666,
     "n": 376,
     "confidence": 0.23259932161391098,
     "accuracy": 0.300531914893617
    },
    {
     "lo": 0.26666666666666666,
     "hi": 0.3333333333333333,
     "n": 289,
     "confidence": 0.2987388966375085,
     "accuracy": 0.36678200692041524
    },
    {
     "lo": 0.3333333333333333,
     "hi": 0.4,
     "n": 248,
     "confidence": 0.3665700762049773,
     "accuracy": 0.33064516129032256
    },
    {
     "lo": 0.4,
     "hi": 0.4666666666666667,
     "n": 204,
     "confidence": 0.4316705915003564,
     "accuracy": 0.4166666666666667
    },
    {
     "lo": 0.4666666666666667,
     "hi": 0.5333333333333333,
     "n": 183,
     "confidence": 0.5014060008401284,
     "accuracy": 0.44808743169398907
    },
    {
     "lo": 0.5333333333333333,
     "hi": 0.6,
     "n": 192,
     "confidence": 0.5647219814474136,
     "accuracy": 0.421875
    },
    {
     "lo": 0.6,
     "hi": 0.6666666666666666,
     "n": 182,
     "confidence": 0.6368073537348019,
     "accuracy": 0.47802197802197804
    },
    {
     "lo": 0.6666666666666666,
     "hi": 0.7333333333333333,
     "n": 232,
     "confidence": 0.7009208266140671,
     "accuracy": 0.49137931034482757
    },
    {
     "lo": 0.7333333333333333,
     "hi": 0.8,
     "n": 232,
     "confidence": 0.768617382027838,
     "accuracy": 0.5431034482758621
    },
    {
     "lo": 0.8,
     "hi": 0.8666666666666667,
     "n": 306,
     "confidence": 0.8359115340229,
     "accuracy": 0.5718954248366013
    },
    {
     "lo": 0.8666666666666667,
     "hi": 0.9333333333333333,
     "n": 141,
     "confidence": 0.8934405943935286,
     "accuracy": 0.7021276595744681
    },
    {
     "lo": 0.9333333333333333,
     "hi": 1.0,
     "n": 12,
     "confidence": 0.9385184777768526,
     "accuracy": 0.8333333333333334
    }
   ]
  }
 }
}