Invalid JSON:Unexpected token 'N', ..." "auroc": NaN,
"n"... is not valid JSON
| { | |
| "n_rows": 300, | |
| "mean_ms": 161.7, | |
| "temp": 0.5, | |
| "by_question": { | |
| "act": { | |
| "n": 60, | |
| "acc": 0.983, | |
| "chance": 0.293, | |
| "ece": 0.02, | |
| "auroc": 0.915, | |
| "nll": 0.249, | |
| "mae": null, | |
| "acc_pos": null, | |
| "acc_neg": null, | |
| "n_pos": 0 | |
| }, | |
| "final": { | |
| "n": 72, | |
| "acc": 0.917, | |
| "chance": 0.5, | |
| "ece": 0.059, | |
| "auroc": 0.894, | |
| "nll": 0.237, | |
| "mae": null, | |
| "acc_pos": 0.818, | |
| "acc_neg": 0.934, | |
| "n_pos": 11 | |
| }, | |
| "ground": { | |
| "n": 300, | |
| "acc": 0.823, | |
| "chance": 0.1, | |
| "ece": 0.171, | |
| "auroc": 0.734, | |
| "nll": 2.586, | |
| "mae": null, | |
| "acc_pos": null, | |
| "acc_neg": null, | |
| "n_pos": 0 | |
| }, | |
| "history_len": { | |
| "n": 65, | |
| "acc": 1.0, | |
| "chance": 0.2, | |
| "ece": 0.0, | |
| "auroc": NaN, | |
| "nll": 0.0, | |
| "mae": 0.0, | |
| "acc_pos": null, | |
| "acc_neg": null, | |
| "n_pos": 0 | |
| }, | |
| "needs_text": { | |
| "n": 76, | |
| "acc": 0.921, | |
| "chance": 0.5, | |
| "ece": 0.053, | |
| "auroc": 0.91, | |
| "nll": 0.228, | |
| "mae": null, | |
| "acc_pos": 0.583, | |
| "acc_neg": 0.984, | |
| "n_pos": 12 | |
| }, | |
| "progress": { | |
| "n": 81, | |
| "acc": 0.63, | |
| "chance": 0.2, | |
| "ece": 0.304, | |
| "auroc": 0.637, | |
| "nll": 2.005, | |
| "mae": 0.41, | |
| "acc_pos": null, | |
| "acc_neg": null, | |
| "n_pos": 0 | |
| }, | |
| "tag": { | |
| "n": 82, | |
| "acc": 0.805, | |
| "chance": 0.229, | |
| "ece": 0.16, | |
| "auroc": 0.794, | |
| "nll": 1.637, | |
| "mae": null, | |
| "acc_pos": null, | |
| "acc_neg": null, | |
| "n_pos": 0 | |
| } | |
| }, | |
| "items": [ | |
| { | |
| "i": 0, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 0, | |
| "qid": "progress", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 1, | |
| "qid": "needs_text", | |
| "p": 0.0109, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 1, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "4", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 1, | |
| "qid": "history_len", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 2, | |
| "qid": "act", | |
| "pred": "type", | |
| "gold": "type", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 2, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 2, | |
| "qid": "tag", | |
| "pred": "textbox", | |
| "gold": "textbox", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 3, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 3, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 4, | |
| "qid": "needs_text", | |
| "p": 0.0091, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 4, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 5, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 5, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 6, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 6, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 6, | |
| "qid": "progress", | |
| "pred": "3", | |
| "gold": "2", | |
| "p": 0.9146, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 7, | |
| "qid": "needs_text", | |
| "p": 0.1316, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 7, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.7843, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 7, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 8, | |
| "qid": "final", | |
| "p": 0.0153, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 8, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "9", | |
| "p": 0.9995, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 9, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 9, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 10, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 10, | |
| "qid": "needs_text", | |
| "p": 0.9756, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 11, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 11, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 12, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 12, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 13, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 13, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 13, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 14, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 0.9998, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 14, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 14, | |
| "qid": "needs_text", | |
| "p": 0.0406, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 15, | |
| "qid": "final", | |
| "p": 0.7914, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 15, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 15, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 0.965, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 16, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 16, | |
| "qid": "final", | |
| "p": 0.4396, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 17, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 17, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 18, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 18, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 19, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 19, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 19, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 20, | |
| "qid": "tag", | |
| "pred": "textbox", | |
| "gold": "textbox", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 20, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 21, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "1", | |
| "p": 0.8669, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 21, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 0.9997, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 22, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 0.9684, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 22, | |
| "qid": "needs_text", | |
| "p": 0.0319, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 23, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 23, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 23, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "2", | |
| "p": 0.7078, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 24, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 24, | |
| "qid": "tag", | |
| "pred": "textbox", | |
| "gold": "textbox", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 24, | |
| "qid": "history_len", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 25, | |
| "qid": "history_len", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 25, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "2", | |
| "p": 0.9751, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 25, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 26, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 26, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "0", | |
| "p": 0.965, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 27, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 27, | |
| "qid": "final", | |
| "p": 0.6307, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 27, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 28, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 28, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 29, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "2", | |
| "p": 0.9756, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 29, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 30, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 30, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 30, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "5", | |
| "p": 0.6589, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 31, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 31, | |
| "qid": "needs_text", | |
| "p": 0.014, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 32, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 32, | |
| "qid": "act", | |
| "pred": "type", | |
| "gold": "type", | |
| "p": 0.7863, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 32, | |
| "qid": "progress", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 33, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 33, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 34, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 34, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 35, | |
| "qid": "needs_text", | |
| "p": 0.0137, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 35, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 35, | |
| "qid": "final", | |
| "p": 0.0627, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 36, | |
| "qid": "final", | |
| "p": 0.0109, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 36, | |
| "qid": "progress", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 0.952, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 36, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 37, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "2", | |
| "p": 0.9997, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 37, | |
| "qid": "needs_text", | |
| "p": 0.01, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 38, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 38, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 39, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 39, | |
| "qid": "tag", | |
| "pred": "textbox", | |
| "gold": "textbox", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 40, | |
| "qid": "final", | |
| "p": 0.9731, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 40, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 41, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 41, | |
| "qid": "final", | |
| "p": 0.9657, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 42, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 42, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 43, | |
| "qid": "needs_text", | |
| "p": 0.8725, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 43, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 43, | |
| "qid": "tag", | |
| "pred": "textbox", | |
| "gold": "textbox", | |
| "p": 0.9994, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 44, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 44, | |
| "qid": "final", | |
| "p": 0.2493, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 44, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 45, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 45, | |
| "qid": "final", | |
| "p": 0.0088, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 46, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 46, | |
| "qid": "final", | |
| "p": 0.01, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 47, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 47, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 48, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 48, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 49, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "6", | |
| "p": 0.9403, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 49, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 49, | |
| "qid": "progress", | |
| "pred": "3", | |
| "gold": "2", | |
| "p": 0.9862, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 50, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 50, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "other", | |
| "p": 0.8158, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 51, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "input", | |
| "p": 0.9997, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 51, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 52, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 52, | |
| "qid": "needs_text", | |
| "p": 0.008, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 53, | |
| "qid": "final", | |
| "p": 0.0171, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 53, | |
| "qid": "needs_text", | |
| "p": 0.0097, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 53, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "6", | |
| "p": 0.9993, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 54, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 54, | |
| "qid": "history_len", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 55, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 55, | |
| "qid": "tag", | |
| "pred": "input", | |
| "gold": "other", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 55, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 56, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 56, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 57, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 57, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "other", | |
| "p": 0.9968, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 58, | |
| "qid": "progress", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 0.9998, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 58, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 58, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 59, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 59, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 60, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 60, | |
| "qid": "needs_text", | |
| "p": 0.0085, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 61, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "link", | |
| "p": 0.6522, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 61, | |
| "qid": "needs_text", | |
| "p": 0.0103, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 61, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 62, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 0.9835, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 62, | |
| "qid": "needs_text", | |
| "p": 0.0092, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 62, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.7966, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 63, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "4", | |
| "p": 0.9845, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 63, | |
| "qid": "needs_text", | |
| "p": 0.0108, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 64, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 64, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 64, | |
| "qid": "progress", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 0.8971, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 65, | |
| "qid": "history_len", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 65, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 65, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.9494, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 66, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 66, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "2", | |
| "p": 0.6678, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 66, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 67, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 67, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 67, | |
| "qid": "progress", | |
| "pred": "3", | |
| "gold": "4", | |
| "p": 0.9861, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 68, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 68, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 69, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 69, | |
| "qid": "final", | |
| "p": 0.0457, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 70, | |
| "qid": "final", | |
| "p": 0.9792, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 70, | |
| "qid": "needs_text", | |
| "p": 0.0083, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 70, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 71, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 71, | |
| "qid": "final", | |
| "p": 0.0288, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 72, | |
| "qid": "final", | |
| "p": 0.0171, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 72, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 73, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 73, | |
| "qid": "history_len", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 74, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 74, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.9714, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 74, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 75, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 75, | |
| "qid": "needs_text", | |
| "p": 0.0127, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 76, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 76, | |
| "qid": "final", | |
| "p": 0.1318, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 77, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 77, | |
| "qid": "needs_text", | |
| "p": 0.0103, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 78, | |
| "qid": "final", | |
| "p": 0.9708, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 78, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 79, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 79, | |
| "qid": "needs_text", | |
| "p": 0.0175, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 80, | |
| "qid": "needs_text", | |
| "p": 0.009, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 80, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 81, | |
| "qid": "needs_text", | |
| "p": 0.0125, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 81, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 82, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 82, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "6", | |
| "p": 0.9975, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 82, | |
| "qid": "final", | |
| "p": 0.856, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 83, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 83, | |
| "qid": "final", | |
| "p": 0.8381, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 84, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 84, | |
| "qid": "final", | |
| "p": 0.0166, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 84, | |
| "qid": "history_len", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 85, | |
| "qid": "final", | |
| "p": 0.0358, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 85, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 0.9991, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 86, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 86, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 86, | |
| "qid": "history_len", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 87, | |
| "qid": "final", | |
| "p": 0.0151, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 87, | |
| "qid": "act", | |
| "pred": "select", | |
| "gold": "select", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 87, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 88, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 88, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "1", | |
| "p": 0.8677, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 88, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 89, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 89, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.9704, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 89, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 90, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 90, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 90, | |
| "qid": "needs_text", | |
| "p": 0.0105, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 91, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 91, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 92, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 92, | |
| "qid": "final", | |
| "p": 0.0159, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 93, | |
| "qid": "needs_text", | |
| "p": 0.0081, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 93, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 94, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 94, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.7522, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 95, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.9996, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 95, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 95, | |
| "qid": "history_len", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 96, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 96, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 96, | |
| "qid": "history_len", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 97, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.9746, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 97, | |
| "qid": "needs_text", | |
| "p": 0.0068, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 97, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 98, | |
| "qid": "tag", | |
| "pred": "input", | |
| "gold": "input", | |
| "p": 0.9856, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 98, | |
| "qid": "final", | |
| "p": 0.0418, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 98, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 99, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 99, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 100, | |
| "qid": "progress", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 0.997, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 100, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 0.9922, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 101, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 0.9988, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 101, | |
| "qid": "history_len", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 102, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 102, | |
| "qid": "needs_text", | |
| "p": 0.0096, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 102, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.9993, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 103, | |
| "qid": "needs_text", | |
| "p": 0.0141, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 103, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "3", | |
| "p": 0.9905, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 103, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 0.5133, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 104, | |
| "qid": "final", | |
| "p": 0.0115, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 104, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 104, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 105, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 105, | |
| "qid": "tag", | |
| "pred": "input", | |
| "gold": "select", | |
| "p": 0.9993, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 106, | |
| "qid": "needs_text", | |
| "p": 0.0079, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 106, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 106, | |
| "qid": "progress", | |
| "pred": "3", | |
| "gold": "4", | |
| "p": 0.5198, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 107, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 107, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 107, | |
| "qid": "history_len", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 108, | |
| "qid": "needs_text", | |
| "p": 0.0083, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 108, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "5", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 108, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 109, | |
| "qid": "needs_text", | |
| "p": 0.2136, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 109, | |
| "qid": "final", | |
| "p": 0.0122, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 109, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "3", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 110, | |
| "qid": "tag", | |
| "pred": "tab", | |
| "gold": "button", | |
| "p": 0.9957, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 110, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 111, | |
| "qid": "history_len", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 111, | |
| "qid": "needs_text", | |
| "p": 0.0106, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 111, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 112, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 112, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "6", | |
| "p": 0.8552, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 113, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 113, | |
| "qid": "needs_text", | |
| "p": 0.7963, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 114, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 114, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 115, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "2", | |
| "p": 0.9966, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 115, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 116, | |
| "qid": "final", | |
| "p": 0.9498, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 116, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 117, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 117, | |
| "qid": "history_len", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 118, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 118, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 118, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "1", | |
| "p": 0.9947, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 119, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 119, | |
| "qid": "final", | |
| "p": 0.9202, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 120, | |
| "qid": "needs_text", | |
| "p": 0.948, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 120, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 121, | |
| "qid": "needs_text", | |
| "p": 0.0096, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 121, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 122, | |
| "qid": "needs_text", | |
| "p": 0.0113, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 122, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 122, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.9659, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 123, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 123, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 123, | |
| "qid": "needs_text", | |
| "p": 0.0114, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 124, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 0.9994, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 124, | |
| "qid": "needs_text", | |
| "p": 0.0102, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 124, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 125, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 125, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 0.9998, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 125, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 126, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 126, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 126, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 127, | |
| "qid": "progress", | |
| "pred": "3", | |
| "gold": "2", | |
| "p": 0.933, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 127, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "5", | |
| "p": 0.9992, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 127, | |
| "qid": "final", | |
| "p": 0.0685, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 128, | |
| "qid": "needs_text", | |
| "p": 0.3197, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 128, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 129, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "2", | |
| "p": 0.9996, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 129, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 129, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.99, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 130, | |
| "qid": "needs_text", | |
| "p": 0.012, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 130, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 130, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 131, | |
| "qid": "tag", | |
| "pred": "textbox", | |
| "gold": "textbox", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 131, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 131, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 132, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 0.8481, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 132, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 133, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 133, | |
| "qid": "needs_text", | |
| "p": 0.0097, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 133, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 134, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 134, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 0.9839, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 134, | |
| "qid": "needs_text", | |
| "p": 0.0237, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 135, | |
| "qid": "tag", | |
| "pred": "radio", | |
| "gold": "radio", | |
| "p": 0.6922, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 135, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 136, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 136, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "other", | |
| "p": 0.6999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 137, | |
| "qid": "progress", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 0.9967, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 137, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 137, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 138, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 138, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 138, | |
| "qid": "act", | |
| "pred": "type", | |
| "gold": "type", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 139, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 139, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 140, | |
| "qid": "final", | |
| "p": 0.0103, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 140, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 140, | |
| "qid": "needs_text", | |
| "p": 0.0097, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 141, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 141, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 141, | |
| "qid": "final", | |
| "p": 0.0146, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 142, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 142, | |
| "qid": "final", | |
| "p": 0.0148, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 143, | |
| "qid": "final", | |
| "p": 0.0259, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 143, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 144, | |
| "qid": "needs_text", | |
| "p": 0.0155, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 144, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 145, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 145, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 146, | |
| "qid": "act", | |
| "pred": "type", | |
| "gold": "type", | |
| "p": 0.9976, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 146, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 146, | |
| "qid": "tag", | |
| "pred": "textbox", | |
| "gold": "textbox", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 147, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 147, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 148, | |
| "qid": "final", | |
| "p": 0.0417, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 148, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 148, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "4", | |
| "p": 0.454, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 149, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "0", | |
| "p": 0.7651, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 149, | |
| "qid": "needs_text", | |
| "p": 0.0389, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 149, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.9748, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 150, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 150, | |
| "qid": "final", | |
| "p": 0.9781, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 150, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 151, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 151, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 152, | |
| "qid": "history_len", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 152, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 153, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 153, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "0", | |
| "p": 0.8833, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 154, | |
| "qid": "final", | |
| "p": 0.0118, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 154, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "9", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 155, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 155, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 155, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 0.9209, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 156, | |
| "qid": "tag", | |
| "pred": "checkbox", | |
| "gold": "checkbox", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 156, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 156, | |
| "qid": "progress", | |
| "pred": "3", | |
| "gold": "2", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 157, | |
| "qid": "act", | |
| "pred": "type", | |
| "gold": "type", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 157, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 157, | |
| "qid": "final", | |
| "p": 0.0118, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 158, | |
| "qid": "history_len", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 158, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 159, | |
| "qid": "needs_text", | |
| "p": 0.009, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 159, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 0.9942, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 159, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 160, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 160, | |
| "qid": "tag", | |
| "pred": "textbox", | |
| "gold": "textbox", | |
| "p": 0.9975, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 161, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 161, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 162, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 162, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 163, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "3", | |
| "p": 0.7305, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 163, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 164, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 164, | |
| "qid": "needs_text", | |
| "p": 0.7628, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 164, | |
| "qid": "act", | |
| "pred": "type", | |
| "gold": "type", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 165, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 165, | |
| "qid": "act", | |
| "pred": "type", | |
| "gold": "type", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 165, | |
| "qid": "tag", | |
| "pred": "textbox", | |
| "gold": "textbox", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 166, | |
| "qid": "history_len", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 166, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 166, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 167, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.9944, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 167, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 167, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 0.9926, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 168, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 0.9982, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 168, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 169, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 169, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 169, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 0.8489, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 170, | |
| "qid": "final", | |
| "p": 0.0105, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 170, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 170, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 171, | |
| "qid": "final", | |
| "p": 0.0181, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 171, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 171, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 172, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 172, | |
| "qid": "final", | |
| "p": 0.0128, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 172, | |
| "qid": "needs_text", | |
| "p": 0.0085, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 173, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 173, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "1", | |
| "p": 0.9877, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 174, | |
| "qid": "final", | |
| "p": 0.0117, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 174, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 175, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 175, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 176, | |
| "qid": "tag", | |
| "pred": "label", | |
| "gold": "select", | |
| "p": 0.6756, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 176, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 177, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 177, | |
| "qid": "act", | |
| "pred": "select", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 178, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 178, | |
| "qid": "final", | |
| "p": 0.0163, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 178, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.9946, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 179, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 179, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 179, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "4", | |
| "p": 0.6562, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 180, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 180, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 180, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 181, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 181, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 182, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 182, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 183, | |
| "qid": "needs_text", | |
| "p": 0.014, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 183, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 0.9997, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 183, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 184, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "other", | |
| "p": 0.6772, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 184, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 185, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 185, | |
| "qid": "needs_text", | |
| "p": 0.0136, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 185, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 186, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 0.9998, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 186, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "5", | |
| "p": 0.995, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 187, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 187, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 188, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 188, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 189, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.9996, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 189, | |
| "qid": "needs_text", | |
| "p": 0.019, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 190, | |
| "qid": "final", | |
| "p": 0.0166, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 190, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 190, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 191, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 191, | |
| "qid": "progress", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 192, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 192, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 193, | |
| "qid": "history_len", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 193, | |
| "qid": "final", | |
| "p": 0.0136, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 193, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.5433, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 194, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "3", | |
| "p": 0.8005, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 194, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 194, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 195, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 195, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 0.9635, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 195, | |
| "qid": "needs_text", | |
| "p": 0.0075, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 196, | |
| "qid": "final", | |
| "p": 0.0142, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 196, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 196, | |
| "qid": "needs_text", | |
| "p": 0.0139, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 197, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 197, | |
| "qid": "needs_text", | |
| "p": 0.007, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 198, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 198, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 198, | |
| "qid": "needs_text", | |
| "p": 0.9399, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 199, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 199, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "3", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 200, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 200, | |
| "qid": "final", | |
| "p": 0.0128, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 200, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "button", | |
| "p": 0.6394, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 201, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.9923, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 201, | |
| "qid": "needs_text", | |
| "p": 0.0454, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 201, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "5", | |
| "p": 0.9871, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 202, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 202, | |
| "qid": "final", | |
| "p": 0.0115, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 203, | |
| "qid": "needs_text", | |
| "p": 0.8787, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 203, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 204, | |
| "qid": "progress", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 0.5601, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 204, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 204, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 205, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 205, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 205, | |
| "qid": "act", | |
| "pred": "select", | |
| "gold": "select", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 206, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "6", | |
| "p": 0.9996, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 206, | |
| "qid": "final", | |
| "p": 0.0237, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 207, | |
| "qid": "final", | |
| "p": 0.012, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 207, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 208, | |
| "qid": "needs_text", | |
| "p": 0.0208, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 208, | |
| "qid": "tag", | |
| "pred": "textbox", | |
| "gold": "radio", | |
| "p": 0.9997, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 208, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 209, | |
| "qid": "act", | |
| "pred": "select", | |
| "gold": "select", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 209, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 210, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 210, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 211, | |
| "qid": "needs_text", | |
| "p": 0.0091, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 211, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "1", | |
| "p": 0.9945, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 211, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "radio", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 212, | |
| "qid": "act", | |
| "pred": "type", | |
| "gold": "type", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 212, | |
| "qid": "needs_text", | |
| "p": 0.9777, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 212, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 213, | |
| "qid": "history_len", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 213, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 213, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.9994, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 214, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 214, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 0.9983, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 215, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 215, | |
| "qid": "needs_text", | |
| "p": 0.0078, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 215, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 216, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "5", | |
| "p": 0.9031, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 216, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.9818, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 216, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 0.9982, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 217, | |
| "qid": "final", | |
| "p": 0.984, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 217, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 217, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 218, | |
| "qid": "final", | |
| "p": 0.1036, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 218, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 218, | |
| "qid": "progress", | |
| "pred": "3", | |
| "gold": "2", | |
| "p": 0.7174, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 219, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 0.6598, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 219, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 0.8362, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 219, | |
| "qid": "final", | |
| "p": 0.0115, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 220, | |
| "qid": "progress", | |
| "pred": "0", | |
| "gold": "1", | |
| "p": 0.9502, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 220, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 0.9416, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 221, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 0.6676, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 221, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 222, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 222, | |
| "qid": "needs_text", | |
| "p": 0.0604, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 222, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 223, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 223, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 224, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 224, | |
| "qid": "final", | |
| "p": 0.0121, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 224, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 225, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 225, | |
| "qid": "needs_text", | |
| "p": 0.157, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 226, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 226, | |
| "qid": "needs_text", | |
| "p": 0.0114, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 227, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 0.6261, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 227, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.9991, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 227, | |
| "qid": "needs_text", | |
| "p": 0.0109, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 228, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 228, | |
| "qid": "progress", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 0.9958, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 229, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 229, | |
| "qid": "final", | |
| "p": 0.0142, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 230, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 230, | |
| "qid": "history_len", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 231, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 231, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 231, | |
| "qid": "final", | |
| "p": 0.0123, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 232, | |
| "qid": "ground", | |
| "pred": "none", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 232, | |
| "qid": "needs_text", | |
| "p": 0.0083, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 232, | |
| "qid": "history_len", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 233, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 233, | |
| "qid": "final", | |
| "p": 0.0185, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 233, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 234, | |
| "qid": "history_len", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 234, | |
| "qid": "tag", | |
| "pred": "tab", | |
| "gold": "tab", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 234, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 235, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 235, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.9639, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 236, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 236, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 237, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 237, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "3", | |
| "p": 0.9993, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 238, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 238, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 238, | |
| "qid": "final", | |
| "p": 0.0136, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 239, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 239, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 240, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 240, | |
| "qid": "final", | |
| "p": 0.0674, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 240, | |
| "qid": "needs_text", | |
| "p": 0.0067, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 241, | |
| "qid": "final", | |
| "p": 0.0158, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 241, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "6", | |
| "p": 0.7711, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 242, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 242, | |
| "qid": "needs_text", | |
| "p": 0.0086, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 243, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 0.9997, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 243, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 243, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.8313, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 244, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 244, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 244, | |
| "qid": "final", | |
| "p": 0.0165, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 245, | |
| "qid": "final", | |
| "p": 0.0364, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 245, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 0.6995, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 246, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 246, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 247, | |
| "qid": "needs_text", | |
| "p": 0.0078, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 247, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.9998, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 248, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 248, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "2", | |
| "p": 0.9987, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 248, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 249, | |
| "qid": "needs_text", | |
| "p": 0.0092, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 249, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.9701, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 249, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 250, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 250, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 251, | |
| "qid": "tag", | |
| "pred": "textbox", | |
| "gold": "textbox", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 251, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 252, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "link", | |
| "p": 0.9804, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 252, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 252, | |
| "qid": "progress", | |
| "pred": "0", | |
| "gold": "1", | |
| "p": 0.9804, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 253, | |
| "qid": "needs_text", | |
| "p": 0.009, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 253, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 253, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 254, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 0.9978, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 254, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 255, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 255, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "button", | |
| "p": 0.9998, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 256, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "0", | |
| "p": 0.9925, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 256, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 257, | |
| "qid": "act", | |
| "pred": "type", | |
| "gold": "type", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 257, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 257, | |
| "qid": "needs_text", | |
| "p": 0.0689, | |
| "y": 1, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 258, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 0.9989, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 258, | |
| "qid": "history_len", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 259, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 259, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.9771, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 260, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 260, | |
| "qid": "final", | |
| "p": 0.0363, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 260, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 261, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 261, | |
| "qid": "progress", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 0.9884, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 262, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 262, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 263, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 263, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 263, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 0.9989, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 264, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 0.8816, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 264, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 265, | |
| "qid": "final", | |
| "p": 0.0106, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 265, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 265, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 266, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 266, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 267, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 0.753, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 267, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 267, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 268, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 268, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 269, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 269, | |
| "qid": "needs_text", | |
| "p": 0.0068, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 270, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 270, | |
| "qid": "final", | |
| "p": 0.0939, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 271, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 271, | |
| "qid": "needs_text", | |
| "p": 0.0103, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 271, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 272, | |
| "qid": "final", | |
| "p": 0.0433, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 272, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 273, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 273, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "1", | |
| "p": 0.9346, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 273, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 274, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 274, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 275, | |
| "qid": "needs_text", | |
| "p": 0.0087, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 275, | |
| "qid": "progress", | |
| "pred": "4", | |
| "gold": "3", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 275, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 276, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 276, | |
| "qid": "needs_text", | |
| "p": 0.0083, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 276, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 277, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "4", | |
| "p": 0.9979, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 277, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.9021, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 278, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 278, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 279, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 279, | |
| "qid": "tag", | |
| "pred": "other", | |
| "gold": "other", | |
| "p": 0.9999, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 279, | |
| "qid": "progress", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 0.9998, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 280, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 280, | |
| "qid": "history_len", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 281, | |
| "qid": "final", | |
| "p": 0.0137, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 281, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 282, | |
| "qid": "ground", | |
| "pred": "2", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 282, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 282, | |
| "qid": "final", | |
| "p": 0.0126, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 283, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 283, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 284, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 284, | |
| "qid": "final", | |
| "p": 0.0112, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 285, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "2", | |
| "p": 0.9844, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 285, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "link", | |
| "p": 0.9989, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 286, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 286, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 286, | |
| "qid": "progress", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 0.9651, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 287, | |
| "qid": "history_len", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 287, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 288, | |
| "qid": "ground", | |
| "pred": "7", | |
| "gold": "7", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 288, | |
| "qid": "progress", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 0.9696, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 289, | |
| "qid": "history_len", | |
| "pred": "0", | |
| "gold": "0", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 289, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 290, | |
| "qid": "history_len", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 290, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "9", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 291, | |
| "qid": "tag", | |
| "pred": "textbox", | |
| "gold": "textbox", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 291, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 292, | |
| "qid": "tag", | |
| "pred": "textbox", | |
| "gold": "textbox", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 292, | |
| "qid": "act", | |
| "pred": "type", | |
| "gold": "type", | |
| "p": 0.9996, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 292, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 293, | |
| "qid": "ground", | |
| "pred": "9", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 293, | |
| "qid": "final", | |
| "p": 0.0135, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 294, | |
| "qid": "ground", | |
| "pred": "5", | |
| "gold": "5", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 294, | |
| "qid": "history_len", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 294, | |
| "qid": "tag", | |
| "pred": "link", | |
| "gold": "button", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 295, | |
| "qid": "ground", | |
| "pred": "6", | |
| "gold": "6", | |
| "p": 0.9547, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 295, | |
| "qid": "final", | |
| "p": 0.0117, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 296, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 296, | |
| "qid": "ground", | |
| "pred": "3", | |
| "gold": "3", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 297, | |
| "qid": "ground", | |
| "pred": "8", | |
| "gold": "8", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 297, | |
| "qid": "final", | |
| "p": 0.9337, | |
| "y": 0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 297, | |
| "qid": "act", | |
| "pred": "click", | |
| "gold": "click", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 298, | |
| "qid": "tag", | |
| "pred": "button", | |
| "gold": "button", | |
| "p": 0.9998, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 298, | |
| "qid": "ground", | |
| "pred": "1", | |
| "gold": "1", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 299, | |
| "qid": "progress", | |
| "pred": "2", | |
| "gold": "2", | |
| "p": 0.997, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 299, | |
| "qid": "ground", | |
| "pred": "4", | |
| "gold": "4", | |
| "p": 1.0, | |
| "meta": {} | |
| }, | |
| { | |
| "i": 299, | |
| "qid": "needs_text", | |
| "p": 0.0098, | |
| "y": 0, | |
| "meta": {} | |
| } | |
| ] | |
| } |