{ "facebook/bart-large-mnli": { "agnews": { "all": { "acc": 0.684, "f1": 0.6471183190472712, "n": 1000 }, "en": { "acc": 0.684, "f1": 0.6471183190472712, "n": 1000 } }, "banking77": { "all": { "acc": 0.48, "f1": 0.45548036807250597, "n": 1000 }, "en": { "acc": 0.48, "f1": 0.45548036807250597, "n": 1000 } }, "emotion": { "all": { "acc": 0.463, "f1": 0.4374707590621143, "n": 1000 }, "en": { "acc": 0.463, "f1": 0.4374707590621143, "n": 1000 } }, "massive": { "all": { "acc": 0.16520833333333335, "f1": 0.18015753656695485, "n": 4800 }, "ar": { "acc": 0.06, "f1": 0.07778592687074828, "n": 300 }, "de": { "acc": 0.3333333333333333, "f1": 0.24075764780632933, "n": 300 }, "en": { "acc": 0.53, "f1": 0.41856581708179946, "n": 300 }, "es": { "acc": 0.31333333333333335, "f1": 0.2660551338866142, "n": 300 }, "fr": { "acc": 0.2966666666666667, "f1": 0.2325000235452517, "n": 300 }, "hi": { "acc": 0.023333333333333334, "f1": 0.02624039133473096, "n": 300 }, "id": { "acc": 0.16, "f1": 0.13299659307088701, "n": 300 }, "ja": { "acc": 0.06333333333333334, "f1": 0.03844565981269365, "n": 300 }, "ko": { "acc": 0.03333333333333333, "f1": 0.0040423886225955975, "n": 300 }, "pl": { "acc": 0.17666666666666667, "f1": 0.16090634360687836, "n": 300 }, "pt": { "acc": 0.33, "f1": 0.2711883665481566, "n": 300 }, "ru": { "acc": 0.02, "f1": 0.017980379165649592, "n": 300 }, "sw": { "acc": 0.05, "f1": 0.05853238621095763, "n": 300 }, "tr": { "acc": 0.12333333333333334, "f1": 0.10127491962199608, "n": 300 }, "vi": { "acc": 0.09, "f1": 0.06787346464765819, "n": 300 }, "zh": { "acc": 0.04, "f1": 0.014085166179757708, "n": 300 } }, "sib200": { "all": { "acc": 0.4417892156862745, "f1": 0.44476163018091774, "n": 3264 }, "ar": { "acc": 0.1323529411764706, "f1": 0.09223506887951975, "n": 204 }, "de": { "acc": 0.7009803921568627, "f1": 0.6975157995687727, "n": 204 }, "en": { "acc": 0.7598039215686274, "f1": 0.7609555387505665, "n": 204 }, "es": { "acc": 0.7156862745098039, "f1": 0.7158940145415771, "n": 204 }, "fr": { "acc": 0.7205882352941176, "f1": 0.7253985670415982, "n": 204 }, "hi": { "acc": 0.10784313725490197, "f1": 0.03915802507351803, "n": 204 }, "id": { "acc": 0.5245098039215687, "f1": 0.5085842331321316, "n": 204 }, "ja": { "acc": 0.28431372549019607, "f1": 0.2592624415357541, "n": 204 }, "ko": { "acc": 0.2107843137254902, "f1": 0.20778699511497675, "n": 204 }, "pl": { "acc": 0.5735294117647058, "f1": 0.5834446403793121, "n": 204 }, "pt": { "acc": 0.6617647058823529, "f1": 0.6604026722796247, "n": 204 }, "ru": { "acc": 0.29901960784313725, "f1": 0.2325260552201951, "n": 204 }, "sw": { "acc": 0.3333333333333333, "f1": 0.3384995564854213, "n": 204 }, "tr": { "acc": 0.4166666666666667, "f1": 0.43469523034102286, "n": 204 }, "vi": { "acc": 0.36764705882352944, "f1": 0.36089161252918095, "n": 204 }, "zh": { "acc": 0.25980392156862747, "f1": 0.23255352708644766, "n": 204 } }, "sst2": { "all": { "acc": 0.9220183486238532, "f1": 0.9219920855434874, "n": 872 }, "en": { "acc": 0.9220183486238532, "f1": 0.9219920855434874, "n": 872 } }, "xnli": { "all": { "bacc": 0.6599965587010962, "n": 7200 }, "ar": { "bacc": 0.5961086270544231, "n": 600 }, "de": { "bacc": 0.7242004761244978, "n": 600 }, "en": { "bacc": 0.9325, "n": 600 }, "es": { "bacc": 0.8245446125347329, "n": 600 }, "fr": { "bacc": 0.7623931623931623, "n": 600 }, "hi": { "bacc": 0.5758683177287829, "n": 600 }, "ru": { "bacc": 0.6037405746390025, "n": 600 }, "sw": { "bacc": 0.5417015050167224, "n": 600 }, "th": { "bacc": 0.5762272306267366, "n": 600 }, "tr": { "bacc": 0.5603574414715718, "n": 600 }, "vi": { "bacc": 0.6372787395448356, "n": 600 }, "zh": { "bacc": 0.558974358974359, "n": 600 } }, "yahoo": { "all": { "acc": 0.586, "f1": 0.5902573361152604, "n": 1000 }, "en": { "acc": 0.586, "f1": 0.5902573361152604, "n": 1000 } }, "_meta": { "seconds": 145.06640195846558 }, "mtop": { "all": { "acc": 0.19777777777777777, "f1": 0.12993633106253918, "n": 1800 }, "de": { "acc": 0.23333333333333334, "f1": 0.07382956961392706, "n": 300 }, "en": { "acc": 0.37333333333333335, "f1": 0.3208651256272864, "n": 300 }, "es": { "acc": 0.32, "f1": 0.17921861665187372, "n": 300 }, "fr": { "acc": 0.20666666666666667, "f1": 0.13510841830745132, "n": 300 }, "hi": { "acc": 0.03, "f1": 0.0031515151515151513, "n": 300 }, "th": { "acc": 0.023333333333333334, "f1": 0.006942742791799395, "n": 300 } }, "clinc": { "all": { "acc": 0.679, "f1": 0.6574566714305315, "n": 1000 }, "en": { "acc": 0.679, "f1": 0.6574566714305315, "n": 1000 } } }, "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7": { "agnews": { "all": { "acc": 0.67, "f1": 0.6458701171601935, "n": 1000 }, "en": { "acc": 0.67, "f1": 0.6458701171601935, "n": 1000 } }, "banking77": { "all": { "acc": 0.287, "f1": 0.2743515280306483, "n": 1000 }, "en": { "acc": 0.287, "f1": 0.2743515280306483, "n": 1000 } }, "emotion": { "all": { "acc": 0.483, "f1": 0.42200683466419947, "n": 1000 }, "en": { "acc": 0.483, "f1": 0.42200683466419947, "n": 1000 } }, "massive": { "all": { "acc": 0.35125, "f1": 0.2908119018308223, "n": 4800 }, "ar": { "acc": 0.31, "f1": 0.20021740452354717, "n": 300 }, "de": { "acc": 0.36333333333333334, "f1": 0.2762543820256914, "n": 300 }, "en": { "acc": 0.39666666666666667, "f1": 0.2709595702939508, "n": 300 }, "es": { "acc": 0.3433333333333333, "f1": 0.26566116009539237, "n": 300 }, "fr": { "acc": 0.41, "f1": 0.32554823962939294, "n": 300 }, "hi": { "acc": 0.37, "f1": 0.26226843724507026, "n": 300 }, "id": { "acc": 0.35333333333333333, "f1": 0.2603125272426426, "n": 300 }, "ja": { "acc": 0.38333333333333336, "f1": 0.28915585551539064, "n": 300 }, "ko": { "acc": 0.32666666666666666, "f1": 0.24394950009524896, "n": 300 }, "pl": { "acc": 0.4, "f1": 0.3211455111776444, "n": 300 }, "pt": { "acc": 0.36, "f1": 0.2983843239564063, "n": 300 }, "ru": { "acc": 0.32666666666666666, "f1": 0.24438026525941547, "n": 300 }, "sw": { "acc": 0.26666666666666666, "f1": 0.24379621264788728, "n": 300 }, "tr": { "acc": 0.35, "f1": 0.2773583474377875, "n": 300 }, "vi": { "acc": 0.31333333333333335, "f1": 0.25995761623821245, "n": 300 }, "zh": { "acc": 0.3466666666666667, "f1": 0.277107234020908, "n": 300 } }, "sib200": { "all": { "acc": 0.6541053921568627, "f1": 0.6629498810044174, "n": 3264 }, "ar": { "acc": 0.6421568627450981, "f1": 0.6452196167440594, "n": 204 }, "de": { "acc": 0.6911764705882353, "f1": 0.699323036149195, "n": 204 }, "en": { "acc": 0.6764705882352942, "f1": 0.6857561346999246, "n": 204 }, "es": { "acc": 0.6323529411764706, "f1": 0.6447225343747566, "n": 204 }, "fr": { "acc": 0.6421568627450981, "f1": 0.659131515013868, "n": 204 }, "hi": { "acc": 0.6519607843137255, "f1": 0.6492796970737985, "n": 204 }, "id": { "acc": 0.6862745098039216, "f1": 0.6928862047685828, "n": 204 }, "ja": { "acc": 0.6764705882352942, "f1": 0.6842988868207194, "n": 204 }, "ko": { "acc": 0.6617647058823529, "f1": 0.6686314077097506, "n": 204 }, "pl": { "acc": 0.6666666666666666, "f1": 0.6694277363825538, "n": 204 }, "pt": { "acc": 0.6225490196078431, "f1": 0.6444282972968616, "n": 204 }, "ru": { "acc": 0.6666666666666666, "f1": 0.6770537425920449, "n": 204 }, "sw": { "acc": 0.5931372549019608, "f1": 0.5999715813155457, "n": 204 }, "tr": { "acc": 0.6323529411764706, "f1": 0.6455455381192253, "n": 204 }, "vi": { "acc": 0.6421568627450981, "f1": 0.6572007985208116, "n": 204 }, "zh": { "acc": 0.6813725490196079, "f1": 0.6783808934332921, "n": 204 } }, "sst2": { "all": { "acc": 0.8440366972477065, "f1": 0.8440293128935699, "n": 872 }, "en": { "acc": 0.8440366972477065, "f1": 0.8440293128935699, "n": 872 } }, "xnli": { "all": { "bacc": 0.8449290594888634, "n": 7200 }, "ar": { "bacc": 0.8374553783549994, "n": 600 }, "de": { "bacc": 0.8610862692244713, "n": 600 }, "en": { "bacc": 0.92875, "n": 600 }, "es": { "bacc": 0.8623958011732016, "n": 600 }, "fr": { "bacc": 0.8361823361823362, "n": 600 }, "hi": { "bacc": 0.8277257626094836, "n": 600 }, "ru": { "bacc": 0.834778966044059, "n": 600 }, "sw": { "bacc": 0.7867892976588629, "n": 600 }, "th": { "bacc": 0.8291447977770917, "n": 600 }, "tr": { "bacc": 0.8216973244147157, "n": 600 }, "vi": { "bacc": 0.8590741100953122, "n": 600 }, "zh": { "bacc": 0.8518315018315018, "n": 600 } }, "yahoo": { "all": { "acc": 0.497, "f1": 0.4802182921702715, "n": 1000 }, "en": { "acc": 0.497, "f1": 0.4802182921702715, "n": 1000 } }, "_meta": { "seconds": 118.31483554840088 }, "mtop": { "all": { "acc": 0.35333333333333333, "f1": 0.1925327166710097, "n": 1800 }, "de": { "acc": 0.3566666666666667, "f1": 0.18593838759549883, "n": 300 }, "en": { "acc": 0.45666666666666667, "f1": 0.23294768034797286, "n": 300 }, "es": { "acc": 0.37, "f1": 0.20304826127370457, "n": 300 }, "fr": { "acc": 0.3566666666666667, "f1": 0.23930025861270313, "n": 300 }, "hi": { "acc": 0.31333333333333335, "f1": 0.14856145760603287, "n": 300 }, "th": { "acc": 0.26666666666666666, "f1": 0.12726604652251067, "n": 300 } }, "clinc": { "all": { "acc": 0.484, "f1": 0.4675400551362878, "n": 1000 }, "en": { "acc": 0.484, "f1": 0.4675400551362878, "n": 1000 } } }, "joeddav/xlm-roberta-large-xnli": { "agnews": { "all": { "acc": 0.591, "f1": 0.565709761486267, "n": 1000 }, "en": { "acc": 0.591, "f1": 0.565709761486267, "n": 1000 } }, "banking77": { "all": { "acc": 0.166, "f1": 0.1544966262520289, "n": 1000 }, "en": { "acc": 0.166, "f1": 0.1544966262520289, "n": 1000 } }, "emotion": { "all": { "acc": 0.345, "f1": 0.32990343281231654, "n": 1000 }, "en": { "acc": 0.345, "f1": 0.32990343281231654, "n": 1000 } }, "massive": { "all": { "acc": 0.4041666666666667, "f1": 0.3712339676980947, "n": 4800 }, "ar": { "acc": 0.3466666666666667, "f1": 0.259460637177872, "n": 300 }, "de": { "acc": 0.42, "f1": 0.3306616816275132, "n": 300 }, "en": { "acc": 0.44333333333333336, "f1": 0.32582782042689395, "n": 300 }, "es": { "acc": 0.4066666666666667, "f1": 0.39354223762807605, "n": 300 }, "fr": { "acc": 0.43, "f1": 0.3678839590765248, "n": 300 }, "hi": { "acc": 0.3933333333333333, "f1": 0.3240325762558735, "n": 300 }, "id": { "acc": 0.38666666666666666, "f1": 0.30843738042679414, "n": 300 }, "ja": { "acc": 0.47, "f1": 0.3748095508947998, "n": 300 }, "ko": { "acc": 0.45666666666666667, "f1": 0.3823778536748677, "n": 300 }, "pl": { "acc": 0.4666666666666667, "f1": 0.3713479516743063, "n": 300 }, "pt": { "acc": 0.38666666666666666, "f1": 0.34975172296343415, "n": 300 }, "ru": { "acc": 0.4166666666666667, "f1": 0.36465029437972646, "n": 300 }, "sw": { "acc": 0.24333333333333335, "f1": 0.17484356219626, "n": 300 }, "tr": { "acc": 0.37, "f1": 0.3355156224598148, "n": 300 }, "vi": { "acc": 0.4166666666666667, "f1": 0.36193794606497803, "n": 300 }, "zh": { "acc": 0.41333333333333333, "f1": 0.38698729126162934, "n": 300 } }, "sib200": { "all": { "acc": 0.5260416666666666, "f1": 0.510482674330727, "n": 3264 }, "ar": { "acc": 0.5196078431372549, "f1": 0.5033548772092135, "n": 204 }, "de": { "acc": 0.5245098039215687, "f1": 0.5057103398052026, "n": 204 }, "en": { "acc": 0.5637254901960784, "f1": 0.5446283407800602, "n": 204 }, "es": { "acc": 0.5049019607843137, "f1": 0.47948394675694056, "n": 204 }, "fr": { "acc": 0.5441176470588235, "f1": 0.5274769114672677, "n": 204 }, "hi": { "acc": 0.5245098039215687, "f1": 0.5186581039422143, "n": 204 }, "id": { "acc": 0.5784313725490197, "f1": 0.5723948133740305, "n": 204 }, "ja": { "acc": 0.5147058823529411, "f1": 0.49966737710779446, "n": 204 }, "ko": { "acc": 0.5147058823529411, "f1": 0.493386961737692, "n": 204 }, "pl": { "acc": 0.5049019607843137, "f1": 0.48329706406350753, "n": 204 }, "pt": { "acc": 0.5049019607843137, "f1": 0.48556436491786725, "n": 204 }, "ru": { "acc": 0.49019607843137253, "f1": 0.48119964154988853, "n": 204 }, "sw": { "acc": 0.47549019607843135, "f1": 0.44753834811656107, "n": 204 }, "tr": { "acc": 0.5392156862745098, "f1": 0.5182633639940061, "n": 204 }, "vi": { "acc": 0.5637254901960784, "f1": 0.5598322952874529, "n": 204 }, "zh": { "acc": 0.5490196078431373, "f1": 0.543558608607193, "n": 204 } }, "sst2": { "all": { "acc": 0.819954128440367, "f1": 0.8198496466182332, "n": 872 }, "en": { "acc": 0.819954128440367, "f1": 0.8198496466182332, "n": 872 } }, "xnli": { "all": { "bacc": 0.9918041113156542, "n": 7200 }, "ar": { "bacc": 0.9879506329268144, "n": 600 }, "de": { "bacc": 0.9975186104218362, "n": 600 }, "en": { "bacc": 1.0, "n": 600 }, "es": { "bacc": 0.9975609756097561, "n": 600 }, "fr": { "bacc": 0.9924976258309592, "n": 600 }, "hi": { "bacc": 0.9891271519178496, "n": 600 }, "ru": { "bacc": 0.9974619289340101, "n": 600 }, "sw": { "bacc": 0.9740802675585284, "n": 600 }, "th": { "bacc": 0.986446434084594, "n": 600 }, "tr": { "bacc": 0.9963942307692308, "n": 600 }, "vi": { "bacc": 0.9927056992802956, "n": 600 }, "zh": { "bacc": 0.9902930402930403, "n": 600 } }, "yahoo": { "all": { "acc": 0.529, "f1": 0.5321625001161305, "n": 1000 }, "en": { "acc": 0.529, "f1": 0.5321625001161305, "n": 1000 } }, "_meta": { "seconds": 117.69424700737 }, "mtop": { "all": { "acc": 0.3861111111111111, "f1": 0.26685512551608825, "n": 1800 }, "de": { "acc": 0.4, "f1": 0.22750946540875164, "n": 300 }, "en": { "acc": 0.38, "f1": 0.2572812142123364, "n": 300 }, "es": { "acc": 0.43, "f1": 0.255113035269544, "n": 300 }, "fr": { "acc": 0.35, "f1": 0.22979488140998602, "n": 300 }, "hi": { "acc": 0.3566666666666667, "f1": 0.24583798137454868, "n": 300 }, "th": { "acc": 0.4, "f1": 0.22136763792635192, "n": 300 } }, "clinc": { "all": { "acc": 0.623, "f1": 0.5721332654096193, "n": 1000 }, "en": { "acc": 0.623, "f1": 0.5721332654096193, "n": 1000 } } }, "MoritzLaurer/bge-m3-zeroshot-v2.0": { "agnews": { "all": { "acc": 0.886, "f1": 0.8848646630979153, "n": 1000 }, "en": { "acc": 0.886, "f1": 0.8848646630979153, "n": 1000 } }, "banking77": { "all": { "acc": 0.695, "f1": 0.6744273858639904, "n": 1000 }, "en": { "acc": 0.695, "f1": 0.6744273858639904, "n": 1000 } }, "emotion": { "all": { "acc": 0.677, "f1": 0.6085099429673815, "n": 1000 }, "en": { "acc": 0.677, "f1": 0.6085099429673815, "n": 1000 } }, "massive": { "all": { "acc": 0.6110416666666667, "f1": 0.5433379212984708, "n": 4800 }, "ar": { "acc": 0.5133333333333333, "f1": 0.3864368120016633, "n": 300 }, "de": { "acc": 0.6433333333333333, "f1": 0.5043147648452025, "n": 300 }, "en": { "acc": 0.68, "f1": 0.5390073333325415, "n": 300 }, "es": { "acc": 0.6166666666666667, "f1": 0.527456067428177, "n": 300 }, "fr": { "acc": 0.6533333333333333, "f1": 0.5580245700893715, "n": 300 }, "hi": { "acc": 0.62, "f1": 0.5406493492844288, "n": 300 }, "id": { "acc": 0.65, "f1": 0.5999615637528956, "n": 300 }, "ja": { "acc": 0.67, "f1": 0.5531712787625187, "n": 300 }, "ko": { "acc": 0.6133333333333333, "f1": 0.5301593632690605, "n": 300 }, "pl": { "acc": 0.6633333333333333, "f1": 0.5510688465109365, "n": 300 }, "pt": { "acc": 0.6066666666666667, "f1": 0.5188485218956133, "n": 300 }, "ru": { "acc": 0.6, "f1": 0.5618004364859244, "n": 300 }, "sw": { "acc": 0.38666666666666666, "f1": 0.2903562203168979, "n": 300 }, "tr": { "acc": 0.5966666666666667, "f1": 0.4791889455286192, "n": 300 }, "vi": { "acc": 0.6166666666666667, "f1": 0.5152568630127382, "n": 300 }, "zh": { "acc": 0.6466666666666666, "f1": 0.6129382429246786, "n": 300 } }, "sib200": { "all": { "acc": 0.836703431372549, "f1": 0.8243960240612485, "n": 3264 }, "ar": { "acc": 0.8480392156862745, "f1": 0.8347062558242682, "n": 204 }, "de": { "acc": 0.8529411764705882, "f1": 0.8347746129997365, "n": 204 }, "en": { "acc": 0.8235294117647058, "f1": 0.8118780186201721, "n": 204 }, "es": { "acc": 0.8676470588235294, "f1": 0.8554968666209766, "n": 204 }, "fr": { "acc": 0.8529411764705882, "f1": 0.8446779166750273, "n": 204 }, "hi": { "acc": 0.8186274509803921, "f1": 0.8105330375423758, "n": 204 }, "id": { "acc": 0.8480392156862745, "f1": 0.8306401547178487, "n": 204 }, "ja": { "acc": 0.8333333333333334, "f1": 0.8216110792891728, "n": 204 }, "ko": { "acc": 0.8137254901960784, "f1": 0.7913394133866772, "n": 204 }, "pl": { "acc": 0.8480392156862745, "f1": 0.8378266767647299, "n": 204 }, "pt": { "acc": 0.8186274509803921, "f1": 0.8064240258465576, "n": 204 }, "ru": { "acc": 0.8480392156862745, "f1": 0.8403532071957198, "n": 204 }, "sw": { "acc": 0.7598039215686274, "f1": 0.7574620455182516, "n": 204 }, "tr": { "acc": 0.8284313725490197, "f1": 0.806210366082177, "n": 204 }, "vi": { "acc": 0.8529411764705882, "f1": 0.8430753683245202, "n": 204 }, "zh": { "acc": 0.8725490196078431, "f1": 0.8578907628377639, "n": 204 } }, "sst2": { "all": { "acc": 0.9048165137614679, "f1": 0.9047953539459233, "n": 872 }, "en": { "acc": 0.9048165137614679, "f1": 0.9047953539459233, "n": 872 } }, "xnli": { "all": { "bacc": 0.8177096290031013, "n": 7200 }, "ar": { "bacc": 0.7908661167899218, "n": 600 }, "de": { "bacc": 0.8189530299404215, "n": 600 }, "en": { "bacc": 0.9275, "n": 600 }, "es": { "bacc": 0.8557270762581044, "n": 600 }, "fr": { "bacc": 0.8572649572649573, "n": 600 }, "hi": { "bacc": 0.7606161280579885, "n": 600 }, "ru": { "bacc": 0.8126632497166232, "n": 600 }, "sw": { "bacc": 0.7441471571906355, "n": 600 }, "th": { "bacc": 0.7959246681074406, "n": 600 }, "tr": { "bacc": 0.8198160535117056, "n": 600 }, "vi": { "bacc": 0.80271347986773, "n": 600 }, "zh": { "bacc": 0.8309523809523809, "n": 600 } }, "yahoo": { "all": { "acc": 0.654, "f1": 0.651642288857629, "n": 1000 }, "en": { "acc": 0.654, "f1": 0.651642288857629, "n": 1000 } }, "_meta": { "seconds": 82.13240766525269 }, "mtop": { "all": { "acc": 0.44166666666666665, "f1": 0.26758667593726804, "n": 1800 }, "de": { "acc": 0.4033333333333333, "f1": 0.2371839265742856, "n": 300 }, "en": { "acc": 0.5033333333333333, "f1": 0.3226757507949155, "n": 300 }, "es": { "acc": 0.49666666666666665, "f1": 0.3459385478489077, "n": 300 }, "fr": { "acc": 0.4266666666666667, "f1": 0.2480711406415129, "n": 300 }, "hi": { "acc": 0.46, "f1": 0.28168012765018474, "n": 300 }, "th": { "acc": 0.36, "f1": 0.20996803638833822, "n": 300 } }, "clinc": { "all": { "acc": 0.661, "f1": 0.6264392591841066, "n": 1000 }, "en": { "acc": 0.661, "f1": 0.6264392591841066, "n": 1000 } } }, "MoritzLaurer/bge-m3-zeroshot-v2.0-c": { "agnews": { "all": { "acc": 0.726, "f1": 0.6978504584659703, "n": 1000 }, "en": { "acc": 0.726, "f1": 0.6978504584659703, "n": 1000 } }, "banking77": { "all": { "acc": 0.43, "f1": 0.40959090356638295, "n": 1000 }, "en": { "acc": 0.43, "f1": 0.40959090356638295, "n": 1000 } }, "emotion": { "all": { "acc": 0.476, "f1": 0.43415888270590736, "n": 1000 }, "en": { "acc": 0.476, "f1": 0.43415888270590736, "n": 1000 } }, "massive": { "all": { "acc": 0.41125, "f1": 0.38687224005232523, "n": 4800 }, "ar": { "acc": 0.38333333333333336, "f1": 0.2891368286105128, "n": 300 }, "de": { "acc": 0.42, "f1": 0.33998310231221734, "n": 300 }, "en": { "acc": 0.41333333333333333, "f1": 0.2875123521634631, "n": 300 }, "es": { "acc": 0.3466666666666667, "f1": 0.34702406552400916, "n": 300 }, "fr": { "acc": 0.44, "f1": 0.37456961144085965, "n": 300 }, "hi": { "acc": 0.41333333333333333, "f1": 0.35064835318193655, "n": 300 }, "id": { "acc": 0.45, "f1": 0.41958105899309067, "n": 300 }, "ja": { "acc": 0.46, "f1": 0.40667885944846727, "n": 300 }, "ko": { "acc": 0.42, "f1": 0.38903385664227486, "n": 300 }, "pl": { "acc": 0.48, "f1": 0.4402994844132613, "n": 300 }, "pt": { "acc": 0.38666666666666666, "f1": 0.3137723928340863, "n": 300 }, "ru": { "acc": 0.42, "f1": 0.36880497166725246, "n": 300 }, "sw": { "acc": 0.26666666666666666, "f1": 0.20611219432213349, "n": 300 }, "tr": { "acc": 0.44, "f1": 0.3469176738164673, "n": 300 }, "vi": { "acc": 0.41, "f1": 0.3622072790231494, "n": 300 }, "zh": { "acc": 0.43, "f1": 0.4422413482505006, "n": 300 } }, "sib200": { "all": { "acc": 0.7815563725490197, "f1": 0.7787018181776177, "n": 3264 }, "ar": { "acc": 0.7352941176470589, "f1": 0.7384650790271399, "n": 204 }, "de": { "acc": 0.7941176470588235, "f1": 0.7910619952484003, "n": 204 }, "en": { "acc": 0.7794117647058824, "f1": 0.7774087367609378, "n": 204 }, "es": { "acc": 0.7745098039215687, "f1": 0.7732591270722506, "n": 204 }, "fr": { "acc": 0.7941176470588235, "f1": 0.7925973841501927, "n": 204 }, "hi": { "acc": 0.7647058823529411, "f1": 0.7622388012458876, "n": 204 }, "id": { "acc": 0.7990196078431373, "f1": 0.7991622368264605, "n": 204 }, "ja": { "acc": 0.8137254901960784, "f1": 0.8104063175127328, "n": 204 }, "ko": { "acc": 0.7990196078431373, "f1": 0.7915651207219361, "n": 204 }, "pl": { "acc": 0.7990196078431373, "f1": 0.8011306949075262, "n": 204 }, "pt": { "acc": 0.7843137254901961, "f1": 0.7834322682600171, "n": 204 }, "ru": { "acc": 0.7745098039215687, "f1": 0.772415196912655, "n": 204 }, "sw": { "acc": 0.7009803921568627, "f1": 0.6954257274349361, "n": 204 }, "tr": { "acc": 0.7696078431372549, "f1": 0.7673044825388426, "n": 204 }, "vi": { "acc": 0.7990196078431373, "f1": 0.791196244618601, "n": 204 }, "zh": { "acc": 0.8235294117647058, "f1": 0.8197340725561624, "n": 204 } }, "sst2": { "all": { "acc": 0.8646788990825688, "f1": 0.8646781872221784, "n": 872 }, "en": { "acc": 0.8646788990825688, "f1": 0.8646781872221784, "n": 872 } }, "xnli": { "all": { "bacc": 0.8248575799791034, "n": 7200 }, "ar": { "bacc": 0.798858416891044, "n": 600 }, "de": { "bacc": 0.8533020115630235, "n": 600 }, "en": { "bacc": 0.9099999999999999, "n": 600 }, "es": { "bacc": 0.8565297931460327, "n": 600 }, "fr": { "bacc": 0.8639126305792972, "n": 600 }, "hi": { "bacc": 0.7892781636967683, "n": 600 }, "ru": { "bacc": 0.8207702922477946, "n": 600 }, "sw": { "bacc": 0.7550167224080269, "n": 600 }, "th": { "bacc": 0.8019759184933621, "n": 600 }, "tr": { "bacc": 0.8138064381270903, "n": 600 }, "vi": { "bacc": 0.8149192764053685, "n": 600 }, "zh": { "bacc": 0.8227106227106227, "n": 600 } }, "yahoo": { "all": { "acc": 0.564, "f1": 0.5630685936706719, "n": 1000 }, "en": { "acc": 0.564, "f1": 0.5630685936706719, "n": 1000 } }, "_meta": { "seconds": 81.9843397140503 }, "mtop": { "all": { "acc": 0.30333333333333334, "f1": 0.24123245572855698, "n": 1800 }, "de": { "acc": 0.27, "f1": 0.2385281987457764, "n": 300 }, "en": { "acc": 0.33, "f1": 0.2896493453305592, "n": 300 }, "es": { "acc": 0.36, "f1": 0.2934912011426085, "n": 300 }, "fr": { "acc": 0.28, "f1": 0.16885380510933362, "n": 300 }, "hi": { "acc": 0.30666666666666664, "f1": 0.23592207753436617, "n": 300 }, "th": { "acc": 0.2733333333333333, "f1": 0.14247854855818934, "n": 300 } }, "clinc": { "all": { "acc": 0.597, "f1": 0.565613067075195, "n": 1000 }, "en": { "acc": 0.597, "f1": 0.565613067075195, "n": 1000 } } }, "MoritzLaurer/deberta-v3-base-zeroshot-v2.0": { "agnews": { "all": { "acc": 0.884, "f1": 0.8829360081134644, "n": 1000 }, "en": { "acc": 0.884, "f1": 0.8829360081134644, "n": 1000 } }, "banking77": { "all": { "acc": 0.714, "f1": 0.6980149550363713, "n": 1000 }, "en": { "acc": 0.714, "f1": 0.6980149550363713, "n": 1000 } }, "emotion": { "all": { "acc": 0.737, "f1": 0.6716216231775448, "n": 1000 }, "en": { "acc": 0.737, "f1": 0.6716216231775448, "n": 1000 } }, "massive": { "all": { "acc": 0.36583333333333334, "f1": 0.30647028140080923, "n": 4800 }, "ar": { "acc": 0.13, "f1": 0.09029691123907173, "n": 300 }, "de": { "acc": 0.4666666666666667, "f1": 0.3456436426344333, "n": 300 }, "en": { "acc": 0.71, "f1": 0.5427718316481085, "n": 300 }, "es": { "acc": 0.52, "f1": 0.40455416305242625, "n": 300 }, "fr": { "acc": 0.6066666666666667, "f1": 0.4478851731727334, "n": 300 }, "hi": { "acc": 0.12333333333333334, "f1": 0.06567523485508878, "n": 300 }, "id": { "acc": 0.2633333333333333, "f1": 0.20996227119191177, "n": 300 }, "ja": { "acc": 0.5566666666666666, "f1": 0.4422442667830934, "n": 300 }, "ko": { "acc": 0.3333333333333333, "f1": 0.21484036291226785, "n": 300 }, "pl": { "acc": 0.38, "f1": 0.2861671467722183, "n": 300 }, "pt": { "acc": 0.49333333333333335, "f1": 0.3756019795502444, "n": 300 }, "ru": { "acc": 0.35, "f1": 0.2379270699939506, "n": 300 }, "sw": { "acc": 0.043333333333333335, "f1": 0.0439276618178848, "n": 300 }, "tr": { "acc": 0.22, "f1": 0.1433928360859902, "n": 300 }, "vi": { "acc": 0.21666666666666667, "f1": 0.1376229193488501, "n": 300 }, "zh": { "acc": 0.44, "f1": 0.29810201668955444, "n": 300 } }, "sib200": { "all": { "acc": 0.6020220588235294, "f1": 0.5881988119010105, "n": 3264 }, "ar": { "acc": 0.3627450980392157, "f1": 0.27035164512379756, "n": 204 }, "de": { "acc": 0.7401960784313726, "f1": 0.7229004559141227, "n": 204 }, "en": { "acc": 0.7450980392156863, "f1": 0.7295428868333506, "n": 204 }, "es": { "acc": 0.7598039215686274, "f1": 0.752061651683152, "n": 204 }, "fr": { "acc": 0.7598039215686274, "f1": 0.7470489321432138, "n": 204 }, "hi": { "acc": 0.28921568627450983, "f1": 0.1587468368990108, "n": 204 }, "id": { "acc": 0.5931372549019608, "f1": 0.5718750898293665, "n": 204 }, "ja": { "acc": 0.696078431372549, "f1": 0.6823380671125031, "n": 204 }, "ko": { "acc": 0.6127450980392157, "f1": 0.6006139748698472, "n": 204 }, "pl": { "acc": 0.6176470588235294, "f1": 0.6115423100996072, "n": 204 }, "pt": { "acc": 0.7745098039215687, "f1": 0.7751456472313236, "n": 204 }, "ru": { "acc": 0.5735294117647058, "f1": 0.5588530689223796, "n": 204 }, "sw": { "acc": 0.4362745098039216, "f1": 0.4222045327156965, "n": 204 }, "tr": { "acc": 0.5049019607843137, "f1": 0.44354739573084384, "n": 204 }, "vi": { "acc": 0.5343137254901961, "f1": 0.492043835946275, "n": 204 }, "zh": { "acc": 0.6323529411764706, "f1": 0.6167828709838022, "n": 204 } }, "sst2": { "all": { "acc": 0.9472477064220184, "f1": 0.9472465963849084, "n": 872 }, "en": { "acc": 0.9472477064220184, "f1": 0.9472465963849084, "n": 872 } }, "xnli": { "all": { "bacc": 0.708472229132461, "n": 7200 }, "ar": { "bacc": 0.6345045626774205, "n": 600 }, "de": { "bacc": 0.8113388167424519, "n": 600 }, "en": { "bacc": 0.9325, "n": 600 }, "es": { "bacc": 0.8370175980240815, "n": 600 }, "fr": { "bacc": 0.8291547958214625, "n": 600 }, "hi": { "bacc": 0.6381153729990939, "n": 600 }, "ru": { "bacc": 0.7240648563402494, "n": 600 }, "sw": { "bacc": 0.5282190635451505, "n": 600 }, "th": { "bacc": 0.5613152207471441, "n": 600 }, "tr": { "bacc": 0.6290760869565217, "n": 600 }, "vi": { "bacc": 0.7085440575763471, "n": 600 }, "zh": { "bacc": 0.6774725274725275, "n": 600 } }, "yahoo": { "all": { "acc": 0.672, "f1": 0.6737798042647161, "n": 1000 }, "en": { "acc": 0.672, "f1": 0.6737798042647161, "n": 1000 } }, "_meta": { "seconds": 172.59556889533997 }, "mtop": { "all": { "acc": 0.30666666666666664, "f1": 0.14473095869993358, "n": 1800 }, "de": { "acc": 0.3933333333333333, "f1": 0.18663722628930662, "n": 300 }, "en": { "acc": 0.48333333333333334, "f1": 0.30461860085674997, "n": 300 }, "es": { "acc": 0.48, "f1": 0.2532468819712352, "n": 300 }, "fr": { "acc": 0.37333333333333335, "f1": 0.16016178446994866, "n": 300 }, "hi": { "acc": 0.1, "f1": 0.03538816707518366, "n": 300 }, "th": { "acc": 0.01, "f1": 0.005006285183363393, "n": 300 } }, "clinc": { "all": { "acc": 0.615, "f1": 0.5930558745349184, "n": 1000 }, "en": { "acc": 0.615, "f1": 0.5930558745349184, "n": 1000 } } }, "MoritzLaurer/ModernBERT-base-zeroshot-v2.0": { "agnews": { "all": { "acc": 0.879, "f1": 0.8775043597239578, "n": 1000 }, "en": { "acc": 0.879, "f1": 0.8775043597239578, "n": 1000 } }, "banking77": { "all": { "acc": 0.725, "f1": 0.7058850033304209, "n": 1000 }, "en": { "acc": 0.725, "f1": 0.7058850033304209, "n": 1000 } }, "emotion": { "all": { "acc": 0.754, "f1": 0.675161600298038, "n": 1000 }, "en": { "acc": 0.754, "f1": 0.675161600298038, "n": 1000 } }, "massive": { "all": { "acc": 0.19020833333333334, "f1": 0.17295144191825426, "n": 4800 }, "ar": { "acc": 0.05, "f1": 0.04842575674663544, "n": 300 }, "de": { "acc": 0.25666666666666665, "f1": 0.177009446418218, "n": 300 }, "en": { "acc": 0.6366666666666667, "f1": 0.4939430113506652, "n": 300 }, "es": { "acc": 0.24666666666666667, "f1": 0.21100117883206115, "n": 300 }, "fr": { "acc": 0.34, "f1": 0.21413488141159343, "n": 300 }, "hi": { "acc": 0.03333333333333333, "f1": 0.023523326643306152, "n": 300 }, "id": { "acc": 0.14333333333333334, "f1": 0.13214228034704895, "n": 300 }, "ja": { "acc": 0.25333333333333335, "f1": 0.1711593504943158, "n": 300 }, "ko": { "acc": 0.03, "f1": 0.014655673590190793, "n": 300 }, "pl": { "acc": 0.14, "f1": 0.09554329371816639, "n": 300 }, "pt": { "acc": 0.24333333333333335, "f1": 0.18229221434298482, "n": 300 }, "ru": { "acc": 0.11666666666666667, "f1": 0.11098166028531824, "n": 300 }, "sw": { "acc": 0.043333333333333335, "f1": 0.027544767135442592, "n": 300 }, "tr": { "acc": 0.13666666666666666, "f1": 0.09278628682492736, "n": 300 }, "vi": { "acc": 0.056666666666666664, "f1": 0.05627567693744165, "n": 300 }, "zh": { "acc": 0.31666666666666665, "f1": 0.21119022710812865, "n": 300 } }, "sib200": { "all": { "acc": 0.42769607843137253, "f1": 0.390995436470648, "n": 3264 }, "ar": { "acc": 0.17647058823529413, "f1": 0.09471133908108698, "n": 204 }, "de": { "acc": 0.5392156862745098, "f1": 0.5082361857209727, "n": 204 }, "en": { "acc": 0.7647058823529411, "f1": 0.7398310903308692, "n": 204 }, "es": { "acc": 0.5980392156862745, "f1": 0.5817775559178016, "n": 204 }, "fr": { "acc": 0.6764705882352942, "f1": 0.6582971934572488, "n": 204 }, "hi": { "acc": 0.2107843137254902, "f1": 0.09203109815354714, "n": 204 }, "id": { "acc": 0.46568627450980393, "f1": 0.4219438106661136, "n": 204 }, "ja": { "acc": 0.4264705882352941, "f1": 0.38419862502572416, "n": 204 }, "ko": { "acc": 0.2549019607843137, "f1": 0.07346759520672563, "n": 204 }, "pl": { "acc": 0.43137254901960786, "f1": 0.35644853947403804, "n": 204 }, "pt": { "acc": 0.5490196078431373, "f1": 0.5381721529969508, "n": 204 }, "ru": { "acc": 0.3235294117647059, "f1": 0.22112686242540916, "n": 204 }, "sw": { "acc": 0.25, "f1": 0.21396157651234834, "n": 204 }, "tr": { "acc": 0.3333333333333333, "f1": 0.2427122281304104, "n": 204 }, "vi": { "acc": 0.3480392156862745, "f1": 0.2681648998196123, "n": 204 }, "zh": { "acc": 0.4950980392156863, "f1": 0.46286973496956285, "n": 204 } }, "sst2": { "all": { "acc": 0.9243119266055045, "f1": 0.9243103339435642, "n": 872 }, "en": { "acc": 0.9243119266055045, "f1": 0.9243103339435642, "n": 872 } }, "xnli": { "all": { "bacc": 0.6219608769922218, "n": 7200 }, "ar": { "bacc": 0.4936402733951437, "n": 600 }, "de": { "bacc": 0.6618193498003552, "n": 600 }, "en": { "bacc": 0.9225, "n": 600 }, "es": { "bacc": 0.7291447977770917, "n": 600 }, "fr": { "bacc": 0.7641975308641975, "n": 600 }, "hi": { "bacc": 0.43956508607671396, "n": 600 }, "ru": { "bacc": 0.616492533635602, "n": 600 }, "sw": { "bacc": 0.5464046822742474, "n": 600 }, "th": { "bacc": 0.4799629515282494, "n": 600 }, "tr": { "bacc": 0.5992892976588629, "n": 600 }, "vi": { "bacc": 0.5268187123127797, "n": 600 }, "zh": { "bacc": 0.6554945054945055, "n": 600 } }, "yahoo": { "all": { "acc": 0.642, "f1": 0.6398171032614708, "n": 1000 }, "en": { "acc": 0.642, "f1": 0.6398171032614708, "n": 1000 } }, "_meta": { "seconds": 187.30164122581482 } }, "MoritzLaurer/deberta-v3-large-zeroshot-v2.0": { "agnews": { "all": { "acc": 0.891, "f1": 0.8897892704374994, "n": 1000 }, "en": { "acc": 0.891, "f1": 0.8897892704374994, "n": 1000 } }, "banking77": { "all": { "acc": 0.722, "f1": 0.7028211809502422, "n": 1000 }, "en": { "acc": 0.722, "f1": 0.7028211809502422, "n": 1000 } }, "emotion": { "all": { "acc": 0.691, "f1": 0.6126228098763647, "n": 1000 }, "en": { "acc": 0.691, "f1": 0.6126228098763647, "n": 1000 } }, "massive": { "all": { "acc": 0.5370833333333334, "f1": 0.47546175651517186, "n": 4800 }, "ar": { "acc": 0.32, "f1": 0.22693180228783943, "n": 300 }, "de": { "acc": 0.6666666666666666, "f1": 0.5337941757571455, "n": 300 }, "en": { "acc": 0.7466666666666667, "f1": 0.6405661561287075, "n": 300 }, "es": { "acc": 0.66, "f1": 0.5175268652012341, "n": 300 }, "fr": { "acc": 0.6966666666666667, "f1": 0.526861712215752, "n": 300 }, "hi": { "acc": 0.30666666666666664, "f1": 0.2405808994723129, "n": 300 }, "id": { "acc": 0.49333333333333335, "f1": 0.3773016573515602, "n": 300 }, "ja": { "acc": 0.74, "f1": 0.6143104362935693, "n": 300 }, "ko": { "acc": 0.47, "f1": 0.38176820962079305, "n": 300 }, "pl": { "acc": 0.5966666666666667, "f1": 0.4383232191100889, "n": 300 }, "pt": { "acc": 0.6533333333333333, "f1": 0.5006719052458033, "n": 300 }, "ru": { "acc": 0.62, "f1": 0.5296406641225209, "n": 300 }, "sw": { "acc": 0.06666666666666667, "f1": 0.05643055441029786, "n": 300 }, "tr": { "acc": 0.43666666666666665, "f1": 0.3539783904825522, "n": 300 }, "vi": { "acc": 0.5033333333333333, "f1": 0.3539517004822712, "n": 300 }, "zh": { "acc": 0.6166666666666667, "f1": 0.5601833101778618, "n": 300 } }, "sib200": { "all": { "acc": 0.7377450980392157, "f1": 0.7207495949006811, "n": 3264 }, "ar": { "acc": 0.6127450980392157, "f1": 0.5412968267024107, "n": 204 }, "de": { "acc": 0.8186274509803921, "f1": 0.792564731558852, "n": 204 }, "en": { "acc": 0.8284313725490197, "f1": 0.8153155939222758, "n": 204 }, "es": { "acc": 0.8431372549019608, "f1": 0.8238783073840842, "n": 204 }, "fr": { "acc": 0.8333333333333334, "f1": 0.8136611815518803, "n": 204 }, "hi": { "acc": 0.5147058823529411, "f1": 0.46346285647959645, "n": 204 }, "id": { "acc": 0.7549019607843137, "f1": 0.7398456862539524, "n": 204 }, "ja": { "acc": 0.8137254901960784, "f1": 0.8012329971846938, "n": 204 }, "ko": { "acc": 0.696078431372549, "f1": 0.6724437472151921, "n": 204 }, "pl": { "acc": 0.8137254901960784, "f1": 0.7960188201046028, "n": 204 }, "pt": { "acc": 0.8137254901960784, "f1": 0.7973132206510443, "n": 204 }, "ru": { "acc": 0.7794117647058824, "f1": 0.7771102148635091, "n": 204 }, "sw": { "acc": 0.4803921568627451, "f1": 0.4812234670706431, "n": 204 }, "tr": { "acc": 0.7156862745098039, "f1": 0.7003427696114158, "n": 204 }, "vi": { "acc": 0.7205882352941176, "f1": 0.6999005858452864, "n": 204 }, "zh": { "acc": 0.7647058823529411, "f1": 0.7546212876685626, "n": 204 } }, "sst2": { "all": { "acc": 0.948394495412844, "f1": 0.9483830232236934, "n": 872 }, "en": { "acc": 0.948394495412844, "f1": 0.9483830232236934, "n": 872 } }, "xnli": { "all": { "bacc": 0.726720442144717, "n": 7200 }, "ar": { "bacc": 0.6377209761327501, "n": 600 }, "de": { "bacc": 0.8340680933607083, "n": 600 }, "en": { "bacc": 0.93875, "n": 600 }, "es": { "bacc": 0.8655757949984564, "n": 600 }, "fr": { "bacc": 0.8607787274453942, "n": 600 }, "hi": { "bacc": 0.6043189368770764, "n": 600 }, "ru": { "bacc": 0.7677048937952786, "n": 600 }, "sw": { "bacc": 0.5392976588628763, "n": 600 }, "th": { "bacc": 0.5474220438406916, "n": 600 }, "tr": { "bacc": 0.7035430602006689, "n": 600 }, "vi": { "bacc": 0.6963625753744408, "n": 600 }, "zh": { "bacc": 0.7274725274725274, "n": 600 } }, "yahoo": { "all": { "acc": 0.693, "f1": 0.6933207987920416, "n": 1000 }, "en": { "acc": 0.693, "f1": 0.6933207987920416, "n": 1000 } }, "_meta": { "seconds": 234.439768075943 } } }