| { |
| "agnews": { |
| "all": { |
| "acc": 0.839, |
| "f1": 0.8335841808029902, |
| "n": 1000 |
| }, |
| "en": { |
| "acc": 0.839, |
| "f1": 0.8335841808029902, |
| "n": 1000 |
| } |
| }, |
| "banking77": { |
| "all": { |
| "acc": 0.568, |
| "f1": 0.5244949245605581, |
| "n": 1000 |
| }, |
| "en": { |
| "acc": 0.568, |
| "f1": 0.5244949245605581, |
| "n": 1000 |
| } |
| }, |
| "emotion": { |
| "all": { |
| "acc": 0.488, |
| "f1": 0.4481994229660353, |
| "n": 1000 |
| }, |
| "en": { |
| "acc": 0.488, |
| "f1": 0.4481994229660353, |
| "n": 1000 |
| } |
| }, |
| "massive": { |
| "all": { |
| "acc": 0.5047916666666666, |
| "f1": 0.4504196834314664, |
| "n": 4800 |
| }, |
| "ar": { |
| "acc": 0.4266666666666667, |
| "f1": 0.324526618892606, |
| "n": 300 |
| }, |
| "de": { |
| "acc": 0.5266666666666666, |
| "f1": 0.4812651603982873, |
| "n": 300 |
| }, |
| "en": { |
| "acc": 0.5733333333333334, |
| "f1": 0.4527313675466186, |
| "n": 300 |
| }, |
| "es": { |
| "acc": 0.43666666666666665, |
| "f1": 0.42442186810540805, |
| "n": 300 |
| }, |
| "fr": { |
| "acc": 0.5733333333333334, |
| "f1": 0.4937400635134945, |
| "n": 300 |
| }, |
| "hi": { |
| "acc": 0.5033333333333333, |
| "f1": 0.38821831744202306, |
| "n": 300 |
| }, |
| "id": { |
| "acc": 0.5366666666666666, |
| "f1": 0.5655487106287348, |
| "n": 300 |
| }, |
| "ja": { |
| "acc": 0.6033333333333334, |
| "f1": 0.5230742536442528, |
| "n": 300 |
| }, |
| "ko": { |
| "acc": 0.5033333333333333, |
| "f1": 0.4319173785597908, |
| "n": 300 |
| }, |
| "pl": { |
| "acc": 0.53, |
| "f1": 0.46529203088667165, |
| "n": 300 |
| }, |
| "pt": { |
| "acc": 0.5266666666666666, |
| "f1": 0.4586048691290797, |
| "n": 300 |
| }, |
| "ru": { |
| "acc": 0.49, |
| "f1": 0.4177043521115772, |
| "n": 300 |
| }, |
| "sw": { |
| "acc": 0.31666666666666665, |
| "f1": 0.2619700369213319, |
| "n": 300 |
| }, |
| "tr": { |
| "acc": 0.5033333333333333, |
| "f1": 0.40085928708978913, |
| "n": 300 |
| }, |
| "vi": { |
| "acc": 0.4766666666666667, |
| "f1": 0.35874190590497085, |
| "n": 300 |
| }, |
| "zh": { |
| "acc": 0.55, |
| "f1": 0.4833232098789412, |
| "n": 300 |
| } |
| }, |
| "sib200": { |
| "all": { |
| "acc": 0.8256740196078431, |
| "f1": 0.8083116018562536, |
| "n": 3264 |
| }, |
| "ar": { |
| "acc": 0.8137254901960784, |
| "f1": 0.7992523894641795, |
| "n": 204 |
| }, |
| "de": { |
| "acc": 0.8235294117647058, |
| "f1": 0.803110765968375, |
| "n": 204 |
| }, |
| "en": { |
| "acc": 0.8529411764705882, |
| "f1": 0.8365842671568534, |
| "n": 204 |
| }, |
| "es": { |
| "acc": 0.8529411764705882, |
| "f1": 0.8397708060300891, |
| "n": 204 |
| }, |
| "fr": { |
| "acc": 0.8333333333333334, |
| "f1": 0.8145801892694656, |
| "n": 204 |
| }, |
| "hi": { |
| "acc": 0.7794117647058824, |
| "f1": 0.7728744375964052, |
| "n": 204 |
| }, |
| "id": { |
| "acc": 0.8382352941176471, |
| "f1": 0.8163828739720452, |
| "n": 204 |
| }, |
| "ja": { |
| "acc": 0.8088235294117647, |
| "f1": 0.7847860696418014, |
| "n": 204 |
| }, |
| "ko": { |
| "acc": 0.8088235294117647, |
| "f1": 0.7861106425398835, |
| "n": 204 |
| }, |
| "pl": { |
| "acc": 0.8284313725490197, |
| "f1": 0.8010368033419785, |
| "n": 204 |
| }, |
| "pt": { |
| "acc": 0.8578431372549019, |
| "f1": 0.8420929339477726, |
| "n": 204 |
| }, |
| "ru": { |
| "acc": 0.8529411764705882, |
| "f1": 0.8379435044835637, |
| "n": 204 |
| }, |
| "sw": { |
| "acc": 0.7745098039215687, |
| "f1": 0.7698414000427963, |
| "n": 204 |
| }, |
| "tr": { |
| "acc": 0.8382352941176471, |
| "f1": 0.8208957032824568, |
| "n": 204 |
| }, |
| "vi": { |
| "acc": 0.8235294117647058, |
| "f1": 0.7976414783337751, |
| "n": 204 |
| }, |
| "zh": { |
| "acc": 0.8235294117647058, |
| "f1": 0.8073762278731639, |
| "n": 204 |
| } |
| }, |
| "sst2": { |
| "all": { |
| "acc": 0.8910550458715596, |
| "f1": 0.8907894823574389, |
| "n": 872 |
| }, |
| "en": { |
| "acc": 0.8910550458715596, |
| "f1": 0.8907894823574389, |
| "n": 872 |
| } |
| }, |
| "xnli": { |
| "all": { |
| "bacc": 0.7982123903345109, |
| "n": 7200 |
| }, |
| "ar": { |
| "bacc": 0.7620280461506597, |
| "n": 600 |
| }, |
| "de": { |
| "bacc": 0.8380169036792584, |
| "n": 600 |
| }, |
| "en": { |
| "bacc": 0.8975, |
| "n": 600 |
| }, |
| "es": { |
| "bacc": 0.8411855510960173, |
| "n": 600 |
| }, |
| "fr": { |
| "bacc": 0.8404558404558404, |
| "n": 600 |
| }, |
| "hi": { |
| "bacc": 0.7422832980972516, |
| "n": 600 |
| }, |
| "ru": { |
| "bacc": 0.7820462273914544, |
| "n": 600 |
| }, |
| "sw": { |
| "bacc": 0.6942934782608696, |
| "n": 600 |
| }, |
| "th": { |
| "bacc": 0.7678295770299475, |
| "n": 600 |
| }, |
| "tr": { |
| "bacc": 0.8038252508361203, |
| "n": 600 |
| }, |
| "vi": { |
| "bacc": 0.7992851585294689, |
| "n": 600 |
| }, |
| "zh": { |
| "bacc": 0.8120879120879121, |
| "n": 600 |
| } |
| }, |
| "yahoo": { |
| "all": { |
| "acc": 0.649, |
| "f1": 0.6507293729902082, |
| "n": 1000 |
| }, |
| "en": { |
| "acc": 0.649, |
| "f1": 0.6507293729902082, |
| "n": 1000 |
| } |
| }, |
| "native_labels": { |
| "massive": 0.4935555555555556, |
| "sib200": 0.8091503267973856 |
| }, |
| "mtop": { |
| "all": { |
| "acc": 0.42, |
| "f1": 0.2442773088319161, |
| "n": 1800 |
| }, |
| "de": { |
| "acc": 0.43666666666666665, |
| "f1": 0.2613009352241608, |
| "n": 300 |
| }, |
| "en": { |
| "acc": 0.5266666666666666, |
| "f1": 0.32127181752574907, |
| "n": 300 |
| }, |
| "es": { |
| "acc": 0.5, |
| "f1": 0.27576670465714653, |
| "n": 300 |
| }, |
| "fr": { |
| "acc": 0.3933333333333333, |
| "f1": 0.2240274138113686, |
| "n": 300 |
| }, |
| "hi": { |
| "acc": 0.35333333333333333, |
| "f1": 0.18022705510585119, |
| "n": 300 |
| }, |
| "th": { |
| "acc": 0.31, |
| "f1": 0.16488698179927386, |
| "n": 300 |
| } |
| }, |
| "clinc": { |
| "all": { |
| "acc": 0.672, |
| "f1": 0.6433310377959788, |
| "n": 1000 |
| }, |
| "en": { |
| "acc": 0.672, |
| "f1": 0.6433310377959788, |
| "n": 1000 |
| } |
| } |
| } |
