| { |
| "cardiffnlp/twitter-xlm-roberta-base-sentiment": { |
| "amazon_de": { |
| "n": 900, |
| "acc": 0.6, |
| "macro_f1": 0.5388321539216681 |
| }, |
| "amazon_en": { |
| "n": 900, |
| "acc": 0.5988888888888889, |
| "macro_f1": 0.5479531133639379 |
| }, |
| "amazon_es": { |
| "n": 900, |
| "acc": 0.6277777777777778, |
| "macro_f1": 0.5753384297983782 |
| }, |
| "amazon_fr": { |
| "n": 900, |
| "acc": 0.5966666666666667, |
| "macro_f1": 0.49900141425321287 |
| }, |
| "amazon_ja": { |
| "n": 900, |
| "acc": 0.6022222222222222, |
| "macro_f1": 0.5427046452439627 |
| }, |
| "amazon_zh": { |
| "n": 900, |
| "acc": 0.5444444444444444, |
| "macro_f1": 0.49653990483782473 |
| }, |
| "mteb_ara": { |
| "n": 600, |
| "acc": 0.8583333333333333, |
| "macro_f1": 0.8582195151107417 |
| }, |
| "mteb_bam": { |
| "n": 480, |
| "acc": 0.5916666666666667, |
| "macro_f1": 0.5912124582869855 |
| }, |
| "mteb_bul": { |
| "n": 600, |
| "acc": 0.8533333333333334, |
| "macro_f1": 0.8530574077990893 |
| }, |
| "mteb_cmn": { |
| "n": 600, |
| "acc": 0.7916666666666666, |
| "macro_f1": 0.7894908203963747 |
| }, |
| "mteb_cym": { |
| "n": 600, |
| "acc": 0.555, |
| "macro_f1": 0.526583153807282 |
| }, |
| "mteb_deu": { |
| "n": 513, |
| "acc": 0.7426900584795322, |
| "macro_f1": 0.7223024178996752 |
| }, |
| "mteb_dza": { |
| "n": 92, |
| "acc": 0.8478260869565217, |
| "macro_f1": 0.8203125 |
| }, |
| "mteb_ell": { |
| "n": 600, |
| "acc": 0.72, |
| "macro_f1": 0.719551282051282 |
| }, |
| "mteb_eng": { |
| "n": 600, |
| "acc": 0.8466666666666667, |
| "macro_f1": 0.8465575520370041 |
| }, |
| "mteb_eus": { |
| "n": 227, |
| "acc": 0.6299559471365639, |
| "macro_f1": 0.5728494623655914 |
| }, |
| "mteb_fas": { |
| "n": 600, |
| "acc": 0.8, |
| "macro_f1": 0.797077922077922 |
| }, |
| "mteb_fin": { |
| "n": 600, |
| "acc": 0.905, |
| "macro_f1": 0.9049934023196056 |
| }, |
| "mteb_heb": { |
| "n": 600, |
| "acc": 0.8433333333333334, |
| "macro_f1": 0.8433263700608915 |
| }, |
| "mteb_hrv": { |
| "n": 396, |
| "acc": 0.8888888888888888, |
| "macro_f1": 0.8547418967587035 |
| }, |
| "mteb_ind": { |
| "n": 600, |
| "acc": 0.935, |
| "macro_f1": 0.9349694717798077 |
| }, |
| "mteb_jpn": { |
| "n": 600, |
| "acc": 0.83, |
| "macro_f1": 0.8273741693087069 |
| }, |
| "mteb_kor": { |
| "n": 600, |
| "acc": 0.7783333333333333, |
| "macro_f1": 0.7782834471089328 |
| }, |
| "mteb_mlt": { |
| "n": 171, |
| "acc": 0.5847953216374269, |
| "macro_f1": 0.48912265937302757 |
| }, |
| "mteb_nor": { |
| "n": 417, |
| "acc": 0.7865707434052758, |
| "macro_f1": 0.744028857361593 |
| }, |
| "mteb_pol": { |
| "n": 480, |
| "acc": 0.8791666666666667, |
| "macro_f1": 0.8741319444444444 |
| }, |
| "mteb_rus": { |
| "n": 585, |
| "acc": 0.7333333333333333, |
| "macro_f1": 0.7257944329599538 |
| }, |
| "mteb_slk": { |
| "n": 428, |
| "acc": 0.866822429906542, |
| "macro_f1": 0.8448713301920986 |
| }, |
| "mteb_spa": { |
| "n": 296, |
| "acc": 0.9493243243243243, |
| "macro_f1": 0.9156647102398998 |
| }, |
| "mteb_tha": { |
| "n": 600, |
| "acc": 0.7666666666666667, |
| "macro_f1": 0.7659149937019987 |
| }, |
| "mteb_tur": { |
| "n": 211, |
| "acc": 0.909952606635071, |
| "macro_f1": 0.9065958388667552 |
| }, |
| "mteb_uig": { |
| "n": 400, |
| "acc": 0.78, |
| "macro_f1": 0.5800725329261309 |
| }, |
| "mteb_urd": { |
| "n": 294, |
| "acc": 0.7721088435374149, |
| "macro_f1": 0.7644540638788908 |
| }, |
| "mteb_vie": { |
| "n": 600, |
| "acc": 0.8083333333333333, |
| "macro_f1": 0.808328541546872 |
| }, |
| "mteb_zho": { |
| "n": 600, |
| "acc": 0.7383333333333333, |
| "macro_f1": 0.7307024891437655 |
| }, |
| "tweets_ar": { |
| "n": 870, |
| "acc": 0.6689655172413793, |
| "macro_f1": 0.6697638315200533 |
| }, |
| "tweets_en": { |
| "n": 870, |
| "acc": 0.7275862068965517, |
| "macro_f1": 0.7251726862062521 |
| }, |
| "tweets_fr": { |
| "n": 870, |
| "acc": 0.7367816091954023, |
| "macro_f1": 0.7345966938172319 |
| }, |
| "tweets_ge": { |
| "n": 870, |
| "acc": 0.7494252873563219, |
| "macro_f1": 0.7491161134440106 |
| }, |
| "tweets_hi": { |
| "n": 870, |
| "acc": 0.5781609195402299, |
| "macro_f1": 0.5716793810480174 |
| }, |
| "tweets_it": { |
| "n": 870, |
| "acc": 0.6931034482758621, |
| "macro_f1": 0.69192097787668 |
| }, |
| "tweets_po": { |
| "n": 870, |
| "acc": 0.764367816091954, |
| "macro_f1": 0.7646845314767039 |
| }, |
| "tweets_sp": { |
| "n": 870, |
| "acc": 0.6942528735632184, |
| "macro_f1": 0.6910648336595434 |
| }, |
| "_tweets_mean_f1": 0.6997498811310616, |
| "_amazon_mean_f1": 0.5333949435698307, |
| "_mteb_mean_f1": 0.7720891601311733 |
| }, |
| "lxyuan/distilbert-base-multilingual-cased-sentiments-student": { |
| "amazon_de": { |
| "n": 900, |
| "acc": 0.5544444444444444, |
| "macro_f1": 0.4601653590365391 |
| }, |
| "amazon_en": { |
| "n": 900, |
| "acc": 0.54, |
| "macro_f1": 0.47995038586232797 |
| }, |
| "amazon_es": { |
| "n": 900, |
| "acc": 0.5622222222222222, |
| "macro_f1": 0.4919037322042438 |
| }, |
| "amazon_fr": { |
| "n": 900, |
| "acc": 0.5588888888888889, |
| "macro_f1": 0.4845454762245433 |
| }, |
| "amazon_ja": { |
| "n": 900, |
| "acc": 0.49333333333333335, |
| "macro_f1": 0.4235019398032131 |
| }, |
| "amazon_zh": { |
| "n": 900, |
| "acc": 0.6044444444444445, |
| "macro_f1": 0.5622328220017527 |
| }, |
| "mteb_ara": { |
| "n": 600, |
| "acc": 0.69, |
| "macro_f1": 0.6896551724137931 |
| }, |
| "mteb_bam": { |
| "n": 480, |
| "acc": 0.6208333333333333, |
| "macro_f1": 0.6021568055960361 |
| }, |
| "mteb_bul": { |
| "n": 600, |
| "acc": 0.6466666666666666, |
| "macro_f1": 0.6443907675791734 |
| }, |
| "mteb_cmn": { |
| "n": 600, |
| "acc": 0.83, |
| "macro_f1": 0.8296289697563584 |
| }, |
| "mteb_cym": { |
| "n": 600, |
| "acc": 0.5166666666666667, |
| "macro_f1": 0.38694402164721803 |
| }, |
| "mteb_deu": { |
| "n": 513, |
| "acc": 0.7076023391812866, |
| "macro_f1": 0.6953199239784605 |
| }, |
| "mteb_dza": { |
| "n": 92, |
| "acc": 0.7065217391304348, |
| "macro_f1": 0.6689324270291883 |
| }, |
| "mteb_ell": { |
| "n": 600, |
| "acc": 0.5316666666666666, |
| "macro_f1": 0.5292488363846534 |
| }, |
| "mteb_eng": { |
| "n": 600, |
| "acc": 0.69, |
| "macro_f1": 0.6893234154380651 |
| }, |
| "mteb_eus": { |
| "n": 227, |
| "acc": 0.6387665198237885, |
| "macro_f1": 0.5731517152815997 |
| }, |
| "mteb_fas": { |
| "n": 600, |
| "acc": 0.6533333333333333, |
| "macro_f1": 0.6434285714285715 |
| }, |
| "mteb_fin": { |
| "n": 600, |
| "acc": 0.66, |
| "macro_f1": 0.65996599659966 |
| }, |
| "mteb_heb": { |
| "n": 600, |
| "acc": 0.7083333333333334, |
| "macro_f1": 0.7054855421450189 |
| }, |
| "mteb_hrv": { |
| "n": 396, |
| "acc": 0.6666666666666666, |
| "macro_f1": 0.6429800835997049 |
| }, |
| "mteb_ind": { |
| "n": 600, |
| "acc": 0.91, |
| "macro_f1": 0.9098788371032165 |
| }, |
| "mteb_jpn": { |
| "n": 600, |
| "acc": 0.7566666666666667, |
| "macro_f1": 0.7543714038964098 |
| }, |
| "mteb_kor": { |
| "n": 600, |
| "acc": 0.6166666666666667, |
| "macro_f1": 0.6001344475480708 |
| }, |
| "mteb_mlt": { |
| "n": 171, |
| "acc": 0.6432748538011696, |
| "macro_f1": 0.6226258094859086 |
| }, |
| "mteb_nor": { |
| "n": 417, |
| "acc": 0.6378896882494005, |
| "macro_f1": 0.6118539066111881 |
| }, |
| "mteb_pol": { |
| "n": 480, |
| "acc": 0.7604166666666666, |
| "macro_f1": 0.7283130306386121 |
| }, |
| "mteb_rus": { |
| "n": 585, |
| "acc": 0.8273504273504273, |
| "macro_f1": 0.8272999634636464 |
| }, |
| "mteb_slk": { |
| "n": 428, |
| "acc": 0.8084112149532711, |
| "macro_f1": 0.7889394048735897 |
| }, |
| "mteb_spa": { |
| "n": 296, |
| "acc": 0.8918918918918919, |
| "macro_f1": 0.8161347930739964 |
| }, |
| "mteb_tha": { |
| "n": 600, |
| "acc": 0.5066666666666667, |
| "macro_f1": 0.3790557171626762 |
| }, |
| "mteb_tur": { |
| "n": 211, |
| "acc": 0.5781990521327014, |
| "macro_f1": 0.5775918303079379 |
| }, |
| "mteb_uig": { |
| "n": 400, |
| "acc": 0.2525, |
| "macro_f1": 0.20372306073941904 |
| }, |
| "mteb_urd": { |
| "n": 294, |
| "acc": 0.6224489795918368, |
| "macro_f1": 0.6192376351989919 |
| }, |
| "mteb_vie": { |
| "n": 600, |
| "acc": 0.6616666666666666, |
| "macro_f1": 0.6587996358288395 |
| }, |
| "mteb_zho": { |
| "n": 600, |
| "acc": 0.7983333333333333, |
| "macro_f1": 0.7983058805226266 |
| }, |
| "tweets_ar": { |
| "n": 870, |
| "acc": 0.5264367816091954, |
| "macro_f1": 0.43229744239181417 |
| }, |
| "tweets_en": { |
| "n": 870, |
| "acc": 0.5597701149425287, |
| "macro_f1": 0.4671079050664626 |
| }, |
| "tweets_fr": { |
| "n": 870, |
| "acc": 0.5310344827586206, |
| "macro_f1": 0.44258884558859873 |
| }, |
| "tweets_ge": { |
| "n": 870, |
| "acc": 0.49195402298850577, |
| "macro_f1": 0.41079789100319886 |
| }, |
| "tweets_hi": { |
| "n": 870, |
| "acc": 0.43103448275862066, |
| "macro_f1": 0.36483427020642206 |
| }, |
| "tweets_it": { |
| "n": 870, |
| "acc": 0.4367816091954023, |
| "macro_f1": 0.36014185365176177 |
| }, |
| "tweets_po": { |
| "n": 870, |
| "acc": 0.4586206896551724, |
| "macro_f1": 0.38667232642003563 |
| }, |
| "tweets_sp": { |
| "n": 870, |
| "acc": 0.5172413793103449, |
| "macro_f1": 0.44552993325856266 |
| }, |
| "_tweets_mean_f1": 0.413746308448357, |
| "_amazon_mean_f1": 0.48371661918877, |
| "_mteb_mean_f1": 0.6502371588045734 |
| }, |
| "nlptown/bert-base-multilingual-uncased-sentiment": { |
| "amazon_de": { |
| "n": 900, |
| "acc": 0.7577777777777778, |
| "macro_f1": 0.7424619824852293 |
| }, |
| "amazon_en": { |
| "n": 900, |
| "acc": 0.7388888888888889, |
| "macro_f1": 0.7244678557174145 |
| }, |
| "amazon_es": { |
| "n": 900, |
| "acc": 0.7388888888888889, |
| "macro_f1": 0.7178929402276303 |
| }, |
| "amazon_fr": { |
| "n": 900, |
| "acc": 0.7366666666666667, |
| "macro_f1": 0.7221979570745614 |
| }, |
| "amazon_ja": { |
| "n": 900, |
| "acc": 0.5277777777777778, |
| "macro_f1": 0.4964104921035768 |
| }, |
| "amazon_zh": { |
| "n": 900, |
| "acc": 0.5177777777777778, |
| "macro_f1": 0.46747875418504176 |
| }, |
| "mteb_ara": { |
| "n": 600, |
| "acc": 0.6916666666666667, |
| "macro_f1": 0.6912884950731313 |
| }, |
| "mteb_bam": { |
| "n": 480, |
| "acc": 0.60625, |
| "macro_f1": 0.6036333608587944 |
| }, |
| "mteb_bul": { |
| "n": 600, |
| "acc": 0.77, |
| "macro_f1": 0.7696903614859978 |
| }, |
| "mteb_cmn": { |
| "n": 600, |
| "acc": 0.6833333333333333, |
| "macro_f1": 0.6590909090909092 |
| }, |
| "mteb_cym": { |
| "n": 600, |
| "acc": 0.6116666666666667, |
| "macro_f1": 0.5903068595760643 |
| }, |
| "mteb_deu": { |
| "n": 513, |
| "acc": 0.7173489278752436, |
| "macro_f1": 0.7070914696813977 |
| }, |
| "mteb_dza": { |
| "n": 92, |
| "acc": 0.6195652173913043, |
| "macro_f1": 0.6091758708581139 |
| }, |
| "mteb_ell": { |
| "n": 600, |
| "acc": 0.6766666666666666, |
| "macro_f1": 0.6705125737383801 |
| }, |
| "mteb_eng": { |
| "n": 600, |
| "acc": 0.825, |
| "macro_f1": 0.8245902232715872 |
| }, |
| "mteb_eus": { |
| "n": 227, |
| "acc": 0.6784140969162996, |
| "macro_f1": 0.6009776300898168 |
| }, |
| "mteb_fas": { |
| "n": 600, |
| "acc": 0.685, |
| "macro_f1": 0.6671353385444949 |
| }, |
| "mteb_fin": { |
| "n": 600, |
| "acc": 0.7533333333333333, |
| "macro_f1": 0.753234627184207 |
| }, |
| "mteb_heb": { |
| "n": 600, |
| "acc": 0.7233333333333334, |
| "macro_f1": 0.7233302592251025 |
| }, |
| "mteb_hrv": { |
| "n": 396, |
| "acc": 0.8636363636363636, |
| "macro_f1": 0.8370320692598464 |
| }, |
| "mteb_ind": { |
| "n": 600, |
| "acc": 0.8083333333333333, |
| "macro_f1": 0.8070464402864661 |
| }, |
| "mteb_jpn": { |
| "n": 600, |
| "acc": 0.705, |
| "macro_f1": 0.7028531137468208 |
| }, |
| "mteb_kor": { |
| "n": 600, |
| "acc": 0.6483333333333333, |
| "macro_f1": 0.6372232967977649 |
| }, |
| "mteb_mlt": { |
| "n": 171, |
| "acc": 0.7017543859649122, |
| "macro_f1": 0.6068965517241379 |
| }, |
| "mteb_nor": { |
| "n": 417, |
| "acc": 0.7218225419664268, |
| "macro_f1": 0.6798422111617071 |
| }, |
| "mteb_pol": { |
| "n": 480, |
| "acc": 0.9104166666666667, |
| "macro_f1": 0.9093938076988924 |
| }, |
| "mteb_rus": { |
| "n": 585, |
| "acc": 0.6735042735042736, |
| "macro_f1": 0.6463869663049361 |
| }, |
| "mteb_slk": { |
| "n": 428, |
| "acc": 0.8808411214953271, |
| "macro_f1": 0.8649048429521894 |
| }, |
| "mteb_spa": { |
| "n": 296, |
| "acc": 0.9155405405405406, |
| "macro_f1": 0.8507793752898711 |
| }, |
| "mteb_tha": { |
| "n": 600, |
| "acc": 0.5116666666666667, |
| "macro_f1": 0.40807881508018545 |
| }, |
| "mteb_tur": { |
| "n": 211, |
| "acc": 0.7203791469194313, |
| "macro_f1": 0.7194717984541542 |
| }, |
| "mteb_uig": { |
| "n": 400, |
| "acc": 0.2875, |
| "macro_f1": 0.27476763936866616 |
| }, |
| "mteb_urd": { |
| "n": 294, |
| "acc": 0.6666666666666666, |
| "macro_f1": 0.66541248606466 |
| }, |
| "mteb_vie": { |
| "n": 600, |
| "acc": 0.6566666666666666, |
| "macro_f1": 0.6498028015775874 |
| }, |
| "mteb_zho": { |
| "n": 600, |
| "acc": 0.6966666666666667, |
| "macro_f1": 0.6908932392803361 |
| }, |
| "tweets_ar": { |
| "n": 870, |
| "acc": 0.47126436781609193, |
| "macro_f1": 0.3759972197651062 |
| }, |
| "tweets_en": { |
| "n": 870, |
| "acc": 0.5540229885057472, |
| "macro_f1": 0.45623739759520965 |
| }, |
| "tweets_fr": { |
| "n": 870, |
| "acc": 0.4885057471264368, |
| "macro_f1": 0.4031483853453215 |
| }, |
| "tweets_ge": { |
| "n": 870, |
| "acc": 0.49310344827586206, |
| "macro_f1": 0.40431698819469664 |
| }, |
| "tweets_hi": { |
| "n": 870, |
| "acc": 0.4126436781609195, |
| "macro_f1": 0.330432169000453 |
| }, |
| "tweets_it": { |
| "n": 870, |
| "acc": 0.4804597701149425, |
| "macro_f1": 0.3916747853602554 |
| }, |
| "tweets_po": { |
| "n": 870, |
| "acc": 0.432183908045977, |
| "macro_f1": 0.3488304831455879 |
| }, |
| "tweets_sp": { |
| "n": 870, |
| "acc": 0.49885057471264366, |
| "macro_f1": 0.4109272962946702 |
| }, |
| "_tweets_mean_f1": 0.39019559058766257, |
| "_amazon_mean_f1": 0.6451516636322424, |
| "_mteb_mean_f1": 0.6834773597836626 |
| }, |
| "tabularisai/multilingual-sentiment-analysis": { |
| "amazon_de": { |
| "n": 900, |
| "acc": 0.5588888888888889, |
| "macro_f1": 0.4924871468814462 |
| }, |
| "amazon_en": { |
| "n": 900, |
| "acc": 0.5466666666666666, |
| "macro_f1": 0.46954329218039836 |
| }, |
| "amazon_es": { |
| "n": 900, |
| "acc": 0.5766666666666667, |
| "macro_f1": 0.5068792565453322 |
| }, |
| "amazon_fr": { |
| "n": 900, |
| "acc": 0.5677777777777778, |
| "macro_f1": 0.5146320614843053 |
| }, |
| "amazon_ja": { |
| "n": 900, |
| "acc": 0.5455555555555556, |
| "macro_f1": 0.5077662599660059 |
| }, |
| "amazon_zh": { |
| "n": 900, |
| "acc": 0.5288888888888889, |
| "macro_f1": 0.4748351082982151 |
| }, |
| "mteb_ara": { |
| "n": 600, |
| "acc": 0.6766666666666666, |
| "macro_f1": 0.6765768268963601 |
| }, |
| "mteb_bam": { |
| "n": 480, |
| "acc": 0.5125, |
| "macro_f1": 0.5019068736141907 |
| }, |
| "mteb_bul": { |
| "n": 600, |
| "acc": 0.7466666666666667, |
| "macro_f1": 0.7459440185416295 |
| }, |
| "mteb_cmn": { |
| "n": 600, |
| "acc": 0.7566666666666667, |
| "macro_f1": 0.7491293988269795 |
| }, |
| "mteb_cym": { |
| "n": 600, |
| "acc": 0.625, |
| "macro_f1": 0.6249906247656192 |
| }, |
| "mteb_deu": { |
| "n": 513, |
| "acc": 0.7212475633528265, |
| "macro_f1": 0.7072957605985037 |
| }, |
| "mteb_dza": { |
| "n": 92, |
| "acc": 0.5652173913043478, |
| "macro_f1": 0.5643939393939394 |
| }, |
| "mteb_ell": { |
| "n": 600, |
| "acc": 0.4866666666666667, |
| "macro_f1": 0.48481198983005486 |
| }, |
| "mteb_eng": { |
| "n": 600, |
| "acc": 0.765, |
| "macro_f1": 0.7625456454071107 |
| }, |
| "mteb_eus": { |
| "n": 227, |
| "acc": 0.6255506607929515, |
| "macro_f1": 0.5557116212668953 |
| }, |
| "mteb_fas": { |
| "n": 600, |
| "acc": 0.665, |
| "macro_f1": 0.6612654516039334 |
| }, |
| "mteb_fin": { |
| "n": 600, |
| "acc": 0.6366666666666667, |
| "macro_f1": 0.6327452015408979 |
| }, |
| "mteb_heb": { |
| "n": 600, |
| "acc": 0.6633333333333333, |
| "macro_f1": 0.6623729720092708 |
| }, |
| "mteb_hrv": { |
| "n": 396, |
| "acc": 0.7777777777777778, |
| "macro_f1": 0.7344226313864163 |
| }, |
| "mteb_ind": { |
| "n": 600, |
| "acc": 0.795, |
| "macro_f1": 0.7948717948717949 |
| }, |
| "mteb_jpn": { |
| "n": 600, |
| "acc": 0.835, |
| "macro_f1": 0.8332767297539287 |
| }, |
| "mteb_kor": { |
| "n": 600, |
| "acc": 0.6966666666666667, |
| "macro_f1": 0.6941896024464831 |
| }, |
| "mteb_mlt": { |
| "n": 171, |
| "acc": 0.6081871345029239, |
| "macro_f1": 0.5647863247863247 |
| }, |
| "mteb_nor": { |
| "n": 417, |
| "acc": 0.6354916067146283, |
| "macro_f1": 0.6155376552795031 |
| }, |
| "mteb_pol": { |
| "n": 480, |
| "acc": 0.9125, |
| "macro_f1": 0.9112035095755739 |
| }, |
| "mteb_rus": { |
| "n": 585, |
| "acc": 0.6905982905982906, |
| "macro_f1": 0.6870834946406565 |
| }, |
| "mteb_slk": { |
| "n": 428, |
| "acc": 0.8434579439252337, |
| "macro_f1": 0.8153449885701407 |
| }, |
| "mteb_spa": { |
| "n": 296, |
| "acc": 0.8614864864864865, |
| "macro_f1": 0.8012023522859436 |
| }, |
| "mteb_tha": { |
| "n": 600, |
| "acc": 0.5566666666666666, |
| "macro_f1": 0.5505491410870178 |
| }, |
| "mteb_tur": { |
| "n": 211, |
| "acc": 0.7488151658767772, |
| "macro_f1": 0.744312595742735 |
| }, |
| "mteb_uig": { |
| "n": 400, |
| "acc": 0.25, |
| "macro_f1": 0.2 |
| }, |
| "mteb_urd": { |
| "n": 294, |
| "acc": 0.6598639455782312, |
| "macro_f1": 0.6594699777613047 |
| }, |
| "mteb_vie": { |
| "n": 600, |
| "acc": 0.7333333333333333, |
| "macro_f1": 0.7302643409458731 |
| }, |
| "mteb_zho": { |
| "n": 600, |
| "acc": 0.7716666666666666, |
| "macro_f1": 0.7694372529935292 |
| }, |
| "tweets_ar": { |
| "n": 870, |
| "acc": 0.5160919540229885, |
| "macro_f1": 0.5111672975225248 |
| }, |
| "tweets_en": { |
| "n": 870, |
| "acc": 0.5827586206896552, |
| "macro_f1": 0.5831263580167602 |
| }, |
| "tweets_fr": { |
| "n": 870, |
| "acc": 0.41954022988505746, |
| "macro_f1": 0.36535908375349074 |
| }, |
| "tweets_ge": { |
| "n": 870, |
| "acc": 0.5310344827586206, |
| "macro_f1": 0.524615475363232 |
| }, |
| "tweets_hi": { |
| "n": 870, |
| "acc": 0.4517241379310345, |
| "macro_f1": 0.4473377108558656 |
| }, |
| "tweets_it": { |
| "n": 870, |
| "acc": 0.5160919540229885, |
| "macro_f1": 0.5031138596691973 |
| }, |
| "tweets_po": { |
| "n": 870, |
| "acc": 0.5367816091954023, |
| "macro_f1": 0.5330381669613901 |
| }, |
| "tweets_sp": { |
| "n": 870, |
| "acc": 0.5379310344827586, |
| "macro_f1": 0.5234580562477517 |
| }, |
| "_tweets_mean_f1": 0.4989020010487766, |
| "_amazon_mean_f1": 0.4943571875592838, |
| "_mteb_mean_f1": 0.6701945764283659 |
| }, |
| "cardiffnlp/twitter-xlm-roberta-base-sentiment-multilingual": { |
| "amazon_de": { |
| "n": 900, |
| "acc": 0.5966666666666667, |
| "macro_f1": 0.5449580133892785 |
| }, |
| "amazon_en": { |
| "n": 900, |
| "acc": 0.5888888888888889, |
| "macro_f1": 0.555571325719678 |
| }, |
| "amazon_es": { |
| "n": 900, |
| "acc": 0.6366666666666667, |
| "macro_f1": 0.6123737310653817 |
| }, |
| "amazon_fr": { |
| "n": 900, |
| "acc": 0.5933333333333334, |
| "macro_f1": 0.5245163896797583 |
| }, |
| "amazon_ja": { |
| "n": 900, |
| "acc": 0.6111111111111112, |
| "macro_f1": 0.5441048376566283 |
| }, |
| "amazon_zh": { |
| "n": 900, |
| "acc": 0.5877777777777777, |
| "macro_f1": 0.5504201500737631 |
| }, |
| "mteb_ara": { |
| "n": 600, |
| "acc": 0.8516666666666667, |
| "macro_f1": 0.851160197895617 |
| }, |
| "mteb_bam": { |
| "n": 480, |
| "acc": 0.625, |
| "macro_f1": 0.5712158808933002 |
| }, |
| "mteb_bul": { |
| "n": 600, |
| "acc": 0.8366666666666667, |
| "macro_f1": 0.8351260108345764 |
| }, |
| "mteb_cmn": { |
| "n": 600, |
| "acc": 0.8066666666666666, |
| "macro_f1": 0.8066322901849218 |
| }, |
| "mteb_cym": { |
| "n": 600, |
| "acc": 0.5066666666666667, |
| "macro_f1": 0.358974358974359 |
| }, |
| "mteb_deu": { |
| "n": 513, |
| "acc": 0.7894736842105263, |
| "macro_f1": 0.7791331802525832 |
| }, |
| "mteb_dza": { |
| "n": 92, |
| "acc": 0.8043478260869565, |
| "macro_f1": 0.764102564102564 |
| }, |
| "mteb_ell": { |
| "n": 600, |
| "acc": 0.7266666666666667, |
| "macro_f1": 0.7266393305997266 |
| }, |
| "mteb_eng": { |
| "n": 600, |
| "acc": 0.8383333333333334, |
| "macro_f1": 0.8377813392794927 |
| }, |
| "mteb_eus": { |
| "n": 227, |
| "acc": 0.7444933920704846, |
| "macro_f1": 0.6169110800744879 |
| }, |
| "mteb_fas": { |
| "n": 600, |
| "acc": 0.7916666666666666, |
| "macro_f1": 0.7907827236741901 |
| }, |
| "mteb_fin": { |
| "n": 600, |
| "acc": 0.89, |
| "macro_f1": 0.8894052459895437 |
| }, |
| "mteb_heb": { |
| "n": 600, |
| "acc": 0.845, |
| "macro_f1": 0.844947885261435 |
| }, |
| "mteb_hrv": { |
| "n": 396, |
| "acc": 0.8914141414141414, |
| "macro_f1": 0.8483636849369963 |
| }, |
| "mteb_ind": { |
| "n": 600, |
| "acc": 0.93, |
| "macro_f1": 0.9299929992999301 |
| }, |
| "mteb_jpn": { |
| "n": 600, |
| "acc": 0.8333333333333334, |
| "macro_f1": 0.8333333333333334 |
| }, |
| "mteb_kor": { |
| "n": 600, |
| "acc": 0.7733333333333333, |
| "macro_f1": 0.7730812013348165 |
| }, |
| "mteb_mlt": { |
| "n": 171, |
| "acc": 0.4853801169590643, |
| "macro_f1": 0.4849397590361446 |
| }, |
| "mteb_nor": { |
| "n": 417, |
| "acc": 0.7865707434052758, |
| "macro_f1": 0.7390176154143666 |
| }, |
| "mteb_pol": { |
| "n": 480, |
| "acc": 0.8520833333333333, |
| "macro_f1": 0.8506514279704283 |
| }, |
| "mteb_rus": { |
| "n": 585, |
| "acc": 0.6273504273504273, |
| "macro_f1": 0.5626543209876543 |
| }, |
| "mteb_slk": { |
| "n": 428, |
| "acc": 0.8785046728971962, |
| "macro_f1": 0.8516859922697587 |
| }, |
| "mteb_spa": { |
| "n": 296, |
| "acc": 0.956081081081081, |
| "macro_f1": 0.9211588501649354 |
| }, |
| "mteb_tha": { |
| "n": 600, |
| "acc": 0.7983333333333333, |
| "macro_f1": 0.7979241296959676 |
| }, |
| "mteb_tur": { |
| "n": 211, |
| "acc": 0.8862559241706162, |
| "macro_f1": 0.8803176403857061 |
| }, |
| "mteb_uig": { |
| "n": 400, |
| "acc": 0.785, |
| "macro_f1": 0.5601248018004195 |
| }, |
| "mteb_urd": { |
| "n": 294, |
| "acc": 0.782312925170068, |
| "macro_f1": 0.7808525506638715 |
| }, |
| "mteb_vie": { |
| "n": 600, |
| "acc": 0.795, |
| "macro_f1": 0.7942174547097156 |
| }, |
| "mteb_zho": { |
| "n": 600, |
| "acc": 0.7566666666666667, |
| "macro_f1": 0.7557875016726884 |
| }, |
| "tweets_ar": { |
| "n": 870, |
| "acc": 0.6586206896551724, |
| "macro_f1": 0.6568235409550961 |
| }, |
| "tweets_en": { |
| "n": 870, |
| "acc": 0.7149425287356321, |
| "macro_f1": 0.7131673612083561 |
| }, |
| "tweets_fr": { |
| "n": 870, |
| "acc": 0.7183908045977011, |
| "macro_f1": 0.7183247157038187 |
| }, |
| "tweets_ge": { |
| "n": 870, |
| "acc": 0.7609195402298851, |
| "macro_f1": 0.759842836300559 |
| }, |
| "tweets_hi": { |
| "n": 870, |
| "acc": 0.5758620689655173, |
| "macro_f1": 0.5760810394526915 |
| }, |
| "tweets_it": { |
| "n": 870, |
| "acc": 0.664367816091954, |
| "macro_f1": 0.66223871910882 |
| }, |
| "tweets_po": { |
| "n": 870, |
| "acc": 0.7551724137931034, |
| "macro_f1": 0.7547411039273965 |
| }, |
| "tweets_sp": { |
| "n": 870, |
| "acc": 0.6954022988505747, |
| "macro_f1": 0.6958587120944761 |
| }, |
| "_tweets_mean_f1": 0.6921347535939018, |
| "_amazon_mean_f1": 0.5553240745974147, |
| "_mteb_mean_f1": 0.7598936328170184 |
| }, |
| "clapAI/modernBERT-base-multilingual-sentiment": { |
| "amazon_de": { |
| "n": 900, |
| "acc": 0.8244444444444444, |
| "macro_f1": 0.8166338302169684 |
| }, |
| "amazon_en": { |
| "n": 900, |
| "acc": 0.8088888888888889, |
| "macro_f1": 0.8103269905172371 |
| }, |
| "amazon_es": { |
| "n": 900, |
| "acc": 0.7822222222222223, |
| "macro_f1": 0.7659433594057566 |
| }, |
| "amazon_fr": { |
| "n": 900, |
| "acc": 0.7411111111111112, |
| "macro_f1": 0.7209282075813489 |
| }, |
| "amazon_ja": { |
| "n": 900, |
| "acc": 0.7944444444444444, |
| "macro_f1": 0.7867280284444869 |
| }, |
| "amazon_zh": { |
| "n": 900, |
| "acc": 0.7477777777777778, |
| "macro_f1": 0.7491341943318276 |
| }, |
| "mteb_ara": { |
| "n": 600, |
| "acc": 0.7, |
| "macro_f1": 0.6995961236773884 |
| }, |
| "mteb_bam": { |
| "n": 480, |
| "acc": 0.5854166666666667, |
| "macro_f1": 0.572638483117162 |
| }, |
| "mteb_bul": { |
| "n": 600, |
| "acc": 0.7016666666666667, |
| "macro_f1": 0.7007614701137608 |
| }, |
| "mteb_cmn": { |
| "n": 600, |
| "acc": 0.7466666666666667, |
| "macro_f1": 0.7349792516650975 |
| }, |
| "mteb_cym": { |
| "n": 600, |
| "acc": 0.5233333333333333, |
| "macro_f1": 0.5202630166398282 |
| }, |
| "mteb_deu": { |
| "n": 513, |
| "acc": 0.6666666666666666, |
| "macro_f1": 0.6506020257379446 |
| }, |
| "mteb_dza": { |
| "n": 92, |
| "acc": 0.5760869565217391, |
| "macro_f1": 0.5756357185097576 |
| }, |
| "mteb_ell": { |
| "n": 600, |
| "acc": 0.53, |
| "macro_f1": 0.49497964397855754 |
| }, |
| "mteb_eng": { |
| "n": 600, |
| "acc": 0.915, |
| "macro_f1": 0.914874913414434 |
| }, |
| "mteb_eus": { |
| "n": 227, |
| "acc": 0.43612334801762115, |
| "macro_f1": 0.3890664423885618 |
| }, |
| "mteb_fas": { |
| "n": 600, |
| "acc": 0.585, |
| "macro_f1": 0.5832391855589867 |
| }, |
| "mteb_fin": { |
| "n": 600, |
| "acc": 0.6766666666666666, |
| "macro_f1": 0.671394371922851 |
| }, |
| "mteb_heb": { |
| "n": 600, |
| "acc": 0.5466666666666666, |
| "macro_f1": 0.4925120652768794 |
| }, |
| "mteb_hrv": { |
| "n": 396, |
| "acc": 0.5429292929292929, |
| "macro_f1": 0.5363987400311758 |
| }, |
| "mteb_ind": { |
| "n": 600, |
| "acc": 0.9533333333333334, |
| "macro_f1": 0.9533079120854687 |
| }, |
| "mteb_jpn": { |
| "n": 600, |
| "acc": 0.9133333333333333, |
| "macro_f1": 0.9132552630700964 |
| }, |
| "mteb_kor": { |
| "n": 600, |
| "acc": 0.8466666666666667, |
| "macro_f1": 0.8461727101470277 |
| }, |
| "mteb_mlt": { |
| "n": 171, |
| "acc": 0.5847953216374269, |
| "macro_f1": 0.5308188739034665 |
| }, |
| "mteb_nor": { |
| "n": 417, |
| "acc": 0.5995203836930456, |
| "macro_f1": 0.5842174709980954 |
| }, |
| "mteb_pol": { |
| "n": 480, |
| "acc": 0.6895833333333333, |
| "macro_f1": 0.673982905982906 |
| }, |
| "mteb_rus": { |
| "n": 585, |
| "acc": 0.6393162393162393, |
| "macro_f1": 0.6305723905723906 |
| }, |
| "mteb_slk": { |
| "n": 428, |
| "acc": 0.602803738317757, |
| "macro_f1": 0.6008426411533652 |
| }, |
| "mteb_spa": { |
| "n": 296, |
| "acc": 0.9121621621621622, |
| "macro_f1": 0.856845238095238 |
| }, |
| "mteb_tha": { |
| "n": 600, |
| "acc": 0.5916666666666667, |
| "macro_f1": 0.585867663589316 |
| }, |
| "mteb_tur": { |
| "n": 211, |
| "acc": 0.6824644549763034, |
| "macro_f1": 0.6635729754170534 |
| }, |
| "mteb_uig": { |
| "n": 400, |
| "acc": 0.7325, |
| "macro_f1": 0.5175344658497818 |
| }, |
| "mteb_urd": { |
| "n": 294, |
| "acc": 0.5238095238095238, |
| "macro_f1": 0.5107687918984454 |
| }, |
| "mteb_vie": { |
| "n": 600, |
| "acc": 0.75, |
| "macro_f1": 0.7499305362600722 |
| }, |
| "mteb_zho": { |
| "n": 600, |
| "acc": 0.7783333333333333, |
| "macro_f1": 0.7776607571236323 |
| }, |
| "tweets_ar": { |
| "n": 870, |
| "acc": 0.6080459770114942, |
| "macro_f1": 0.6016260620633344 |
| }, |
| "tweets_en": { |
| "n": 870, |
| "acc": 0.8701149425287357, |
| "macro_f1": 0.8701272745749559 |
| }, |
| "tweets_fr": { |
| "n": 870, |
| "acc": 0.8379310344827586, |
| "macro_f1": 0.8376779696931371 |
| }, |
| "tweets_ge": { |
| "n": 870, |
| "acc": 0.8471264367816091, |
| "macro_f1": 0.8466302208989956 |
| }, |
| "tweets_hi": { |
| "n": 870, |
| "acc": 0.674712643678161, |
| "macro_f1": 0.6715542481681508 |
| }, |
| "tweets_it": { |
| "n": 870, |
| "acc": 0.8816091954022989, |
| "macro_f1": 0.8816519572497334 |
| }, |
| "tweets_po": { |
| "n": 870, |
| "acc": 0.7896551724137931, |
| "macro_f1": 0.7889743557971792 |
| }, |
| "tweets_sp": { |
| "n": 870, |
| "acc": 0.7816091954022989, |
| "macro_f1": 0.7770207938055876 |
| }, |
| "_tweets_mean_f1": 0.7844078602813843, |
| "_amazon_mean_f1": 0.7749491017496042, |
| "_mteb_mean_f1": 0.6528376568337498 |
| } |
| } |
