{
 "cardiffnlp/twitter-xlm-roberta-base-sentiment": {
  "amazon_de": {
   "n": 900,
   "acc": 0.6,
   "macro_f1": 0.5388321539216681
  },
  "amazon_en": {
   "n": 900,
   "acc": 0.5988888888888889,
   "macro_f1": 0.5479531133639379
  },
  "amazon_es": {
   "n": 900,
   "acc": 0.6277777777777778,
   "macro_f1": 0.5753384297983782
  },
  "amazon_fr": {
   "n": 900,
   "acc": 0.5966666666666667,
   "macro_f1": 0.49900141425321287
  },
  "amazon_ja": {
   "n": 900,
   "acc": 0.6022222222222222,
   "macro_f1": 0.5427046452439627
  },
  "amazon_zh": {
   "n": 900,
   "acc": 0.5444444444444444,
   "macro_f1": 0.49653990483782473
  },
  "mteb_ara": {
   "n": 600,
   "acc": 0.8583333333333333,
   "macro_f1": 0.8582195151107417
  },
  "mteb_bam": {
   "n": 480,
   "acc": 0.5916666666666667,
   "macro_f1": 0.5912124582869855
  },
  "mteb_bul": {
   "n": 600,
   "acc": 0.8533333333333334,
   "macro_f1": 0.8530574077990893
  },
  "mteb_cmn": {
   "n": 600,
   "acc": 0.7916666666666666,
   "macro_f1": 0.7894908203963747
  },
  "mteb_cym": {
   "n": 600,
   "acc": 0.555,
   "macro_f1": 0.526583153807282
  },
  "mteb_deu": {
   "n": 513,
   "acc": 0.7426900584795322,
   "macro_f1": 0.7223024178996752
  },
  "mteb_dza": {
   "n": 92,
   "acc": 0.8478260869565217,
   "macro_f1": 0.8203125
  },
  "mteb_ell": {
   "n": 600,
   "acc": 0.72,
   "macro_f1": 0.719551282051282
  },
  "mteb_eng": {
   "n": 600,
   "acc": 0.8466666666666667,
   "macro_f1": 0.8465575520370041
  },
  "mteb_eus": {
   "n": 227,
   "acc": 0.6299559471365639,
   "macro_f1": 0.5728494623655914
  },
  "mteb_fas": {
   "n": 600,
   "acc": 0.8,
   "macro_f1": 0.797077922077922
  },
  "mteb_fin": {
   "n": 600,
   "acc": 0.905,
   "macro_f1": 0.9049934023196056
  },
  "mteb_heb": {
   "n": 600,
   "acc": 0.8433333333333334,
   "macro_f1": 0.8433263700608915
  },
  "mteb_hrv": {
   "n": 396,
   "acc": 0.8888888888888888,
   "macro_f1": 0.8547418967587035
  },
  "mteb_ind": {
   "n": 600,
   "acc": 0.935,
   "macro_f1": 0.9349694717798077
  },
  "mteb_jpn": {
   "n": 600,
   "acc": 0.83,
   "macro_f1": 0.8273741693087069
  },
  "mteb_kor": {
   "n": 600,
   "acc": 0.7783333333333333,
   "macro_f1": 0.7782834471089328
  },
  "mteb_mlt": {
   "n": 171,
   "acc": 0.5847953216374269,
   "macro_f1": 0.48912265937302757
  },
  "mteb_nor": {
   "n": 417,
   "acc": 0.7865707434052758,
   "macro_f1": 0.744028857361593
  },
  "mteb_pol": {
   "n": 480,
   "acc": 0.8791666666666667,
   "macro_f1": 0.8741319444444444
  },
  "mteb_rus": {
   "n": 585,
   "acc": 0.7333333333333333,
   "macro_f1": 0.7257944329599538
  },
  "mteb_slk": {
   "n": 428,
   "acc": 0.866822429906542,
   "macro_f1": 0.8448713301920986
  },
  "mteb_spa": {
   "n": 296,
   "acc": 0.9493243243243243,
   "macro_f1": 0.9156647102398998
  },
  "mteb_tha": {
   "n": 600,
   "acc": 0.7666666666666667,
   "macro_f1": 0.7659149937019987
  },
  "mteb_tur": {
   "n": 211,
   "acc": 0.909952606635071,
   "macro_f1": 0.9065958388667552
  },
  "mteb_uig": {
   "n": 400,
   "acc": 0.78,
   "macro_f1": 0.5800725329261309
  },
  "mteb_urd": {
   "n": 294,
   "acc": 0.7721088435374149,
   "macro_f1": 0.7644540638788908
  },
  "mteb_vie": {
   "n": 600,
   "acc": 0.8083333333333333,
   "macro_f1": 0.808328541546872
  },
  "mteb_zho": {
   "n": 600,
   "acc": 0.7383333333333333,
   "macro_f1": 0.7307024891437655
  },
  "tweets_ar": {
   "n": 870,
   "acc": 0.6689655172413793,
   "macro_f1": 0.6697638315200533
  },
  "tweets_en": {
   "n": 870,
   "acc": 0.7275862068965517,
   "macro_f1": 0.7251726862062521
  },
  "tweets_fr": {
   "n": 870,
   "acc": 0.7367816091954023,
   "macro_f1": 0.7345966938172319
  },
  "tweets_ge": {
   "n": 870,
   "acc": 0.7494252873563219,
   "macro_f1": 0.7491161134440106
  },
  "tweets_hi": {
   "n": 870,
   "acc": 0.5781609195402299,
   "macro_f1": 0.5716793810480174
  },
  "tweets_it": {
   "n": 870,
   "acc": 0.6931034482758621,
   "macro_f1": 0.69192097787668
  },
  "tweets_po": {
   "n": 870,
   "acc": 0.764367816091954,
   "macro_f1": 0.7646845314767039
  },
  "tweets_sp": {
   "n": 870,
   "acc": 0.6942528735632184,
   "macro_f1": 0.6910648336595434
  },
  "_tweets_mean_f1": 0.6997498811310616,
  "_amazon_mean_f1": 0.5333949435698307,
  "_mteb_mean_f1": 0.7720891601311733
 },
 "lxyuan/distilbert-base-multilingual-cased-sentiments-student": {
  "amazon_de": {
   "n": 900,
   "acc": 0.5544444444444444,
   "macro_f1": 0.4601653590365391
  },
  "amazon_en": {
   "n": 900,
   "acc": 0.54,
   "macro_f1": 0.47995038586232797
  },
  "amazon_es": {
   "n": 900,
   "acc": 0.5622222222222222,
   "macro_f1": 0.4919037322042438
  },
  "amazon_fr": {
   "n": 900,
   "acc": 0.5588888888888889,
   "macro_f1": 0.4845454762245433
  },
  "amazon_ja": {
   "n": 900,
   "acc": 0.49333333333333335,
   "macro_f1": 0.4235019398032131
  },
  "amazon_zh": {
   "n": 900,
   "acc": 0.6044444444444445,
   "macro_f1": 0.5622328220017527
  },
  "mteb_ara": {
   "n": 600,
   "acc": 0.69,
   "macro_f1": 0.6896551724137931
  },
  "mteb_bam": {
   "n": 480,
   "acc": 0.6208333333333333,
   "macro_f1": 0.6021568055960361
  },
  "mteb_bul": {
   "n": 600,
   "acc": 0.6466666666666666,
   "macro_f1": 0.6443907675791734
  },
  "mteb_cmn": {
   "n": 600,
   "acc": 0.83,
   "macro_f1": 0.8296289697563584
  },
  "mteb_cym": {
   "n": 600,
   "acc": 0.5166666666666667,
   "macro_f1": 0.38694402164721803
  },
  "mteb_deu": {
   "n": 513,
   "acc": 0.7076023391812866,
   "macro_f1": 0.6953199239784605
  },
  "mteb_dza": {
   "n": 92,
   "acc": 0.7065217391304348,
   "macro_f1": 0.6689324270291883
  },
  "mteb_ell": {
   "n": 600,
   "acc": 0.5316666666666666,
   "macro_f1": 0.5292488363846534
  },
  "mteb_eng": {
   "n": 600,
   "acc": 0.69,
   "macro_f1": 0.6893234154380651
  },
  "mteb_eus": {
   "n": 227,
   "acc": 0.6387665198237885,
   "macro_f1": 0.5731517152815997
  },
  "mteb_fas": {
   "n": 600,
   "acc": 0.6533333333333333,
   "macro_f1": 0.6434285714285715
  },
  "mteb_fin": {
   "n": 600,
   "acc": 0.66,
   "macro_f1": 0.65996599659966
  },
  "mteb_heb": {
   "n": 600,
   "acc": 0.7083333333333334,
   "macro_f1": 0.7054855421450189
  },
  "mteb_hrv": {
   "n": 396,
   "acc": 0.6666666666666666,
   "macro_f1": 0.6429800835997049
  },
  "mteb_ind": {
   "n": 600,
   "acc": 0.91,
   "macro_f1": 0.9098788371032165
  },
  "mteb_jpn": {
   "n": 600,
   "acc": 0.7566666666666667,
   "macro_f1": 0.7543714038964098
  },
  "mteb_kor": {
   "n": 600,
   "acc": 0.6166666666666667,
   "macro_f1": 0.6001344475480708
  },
  "mteb_mlt": {
   "n": 171,
   "acc": 0.6432748538011696,
   "macro_f1": 0.6226258094859086
  },
  "mteb_nor": {
   "n": 417,
   "acc": 0.6378896882494005,
   "macro_f1": 0.6118539066111881
  },
  "mteb_pol": {
   "n": 480,
   "acc": 0.7604166666666666,
   "macro_f1": 0.7283130306386121
  },
  "mteb_rus": {
   "n": 585,
   "acc": 0.8273504273504273,
   "macro_f1": 0.8272999634636464
  },
  "mteb_slk": {
   "n": 428,
   "acc": 0.8084112149532711,
   "macro_f1": 0.7889394048735897
  },
  "mteb_spa": {
   "n": 296,
   "acc": 0.8918918918918919,
   "macro_f1": 0.8161347930739964
  },
  "mteb_tha": {
   "n": 600,
   "acc": 0.5066666666666667,
   "macro_f1": 0.3790557171626762
  },
  "mteb_tur": {
   "n": 211,
   "acc": 0.5781990521327014,
   "macro_f1": 0.5775918303079379
  },
  "mteb_uig": {
   "n": 400,
   "acc": 0.2525,
   "macro_f1": 0.20372306073941904
  },
  "mteb_urd": {
   "n": 294,
   "acc": 0.6224489795918368,
   "macro_f1": 0.6192376351989919
  },
  "mteb_vie": {
   "n": 600,
   "acc": 0.6616666666666666,
   "macro_f1": 0.6587996358288395
  },
  "mteb_zho": {
   "n": 600,
   "acc": 0.7983333333333333,
   "macro_f1": 0.7983058805226266
  },
  "tweets_ar": {
   "n": 870,
   "acc": 0.5264367816091954,
   "macro_f1": 0.43229744239181417
  },
  "tweets_en": {
   "n": 870,
   "acc": 0.5597701149425287,
   "macro_f1": 0.4671079050664626
  },
  "tweets_fr": {
   "n": 870,
   "acc": 0.5310344827586206,
   "macro_f1": 0.44258884558859873
  },
  "tweets_ge": {
   "n": 870,
   "acc": 0.49195402298850577,
   "macro_f1": 0.41079789100319886
  },
  "tweets_hi": {
   "n": 870,
   "acc": 0.43103448275862066,
   "macro_f1": 0.36483427020642206
  },
  "tweets_it": {
   "n": 870,
   "acc": 0.4367816091954023,
   "macro_f1": 0.36014185365176177
  },
  "tweets_po": {
   "n": 870,
   "acc": 0.4586206896551724,
   "macro_f1": 0.38667232642003563
  },
  "tweets_sp": {
   "n": 870,
   "acc": 0.5172413793103449,
   "macro_f1": 0.44552993325856266
  },
  "_tweets_mean_f1": 0.413746308448357,
  "_amazon_mean_f1": 0.48371661918877,
  "_mteb_mean_f1": 0.6502371588045734
 },
 "nlptown/bert-base-multilingual-uncased-sentiment": {
  "amazon_de": {
   "n": 900,
   "acc": 0.7577777777777778,
   "macro_f1": 0.7424619824852293
  },
  "amazon_en": {
   "n": 900,
   "acc": 0.7388888888888889,
   "macro_f1": 0.7244678557174145
  },
  "amazon_es": {
   "n": 900,
   "acc": 0.7388888888888889,
   "macro_f1": 0.7178929402276303
  },
  "amazon_fr": {
   "n": 900,
   "acc": 0.7366666666666667,
   "macro_f1": 0.7221979570745614
  },
  "amazon_ja": {
   "n": 900,
   "acc": 0.5277777777777778,
   "macro_f1": 0.4964104921035768
  },
  "amazon_zh": {
   "n": 900,
   "acc": 0.5177777777777778,
   "macro_f1": 0.46747875418504176
  },
  "mteb_ara": {
   "n": 600,
   "acc": 0.6916666666666667,
   "macro_f1": 0.6912884950731313
  },
  "mteb_bam": {
   "n": 480,
   "acc": 0.60625,
   "macro_f1": 0.6036333608587944
  },
  "mteb_bul": {
   "n": 600,
   "acc": 0.77,
   "macro_f1": 0.7696903614859978
  },
  "mteb_cmn": {
   "n": 600,
   "acc": 0.6833333333333333,
   "macro_f1": 0.6590909090909092
  },
  "mteb_cym": {
   "n": 600,
   "acc": 0.6116666666666667,
   "macro_f1": 0.5903068595760643
  },
  "mteb_deu": {
   "n": 513,
   "acc": 0.7173489278752436,
   "macro_f1": 0.7070914696813977
  },
  "mteb_dza": {
   "n": 92,
   "acc": 0.6195652173913043,
   "macro_f1": 0.6091758708581139
  },
  "mteb_ell": {
   "n": 600,
   "acc": 0.6766666666666666,
   "macro_f1": 0.6705125737383801
  },
  "mteb_eng": {
   "n": 600,
   "acc": 0.825,
   "macro_f1": 0.8245902232715872
  },
  "mteb_eus": {
   "n": 227,
   "acc": 0.6784140969162996,
   "macro_f1": 0.6009776300898168
  },
  "mteb_fas": {
   "n": 600,
   "acc": 0.685,
   "macro_f1": 0.6671353385444949
  },
  "mteb_fin": {
   "n": 600,
   "acc": 0.7533333333333333,
   "macro_f1": 0.753234627184207
  },
  "mteb_heb": {
   "n": 600,
   "acc": 0.7233333333333334,
   "macro_f1": 0.7233302592251025
  },
  "mteb_hrv": {
   "n": 396,
   "acc": 0.8636363636363636,
   "macro_f1": 0.8370320692598464
  },
  "mteb_ind": {
   "n": 600,
   "acc": 0.8083333333333333,
   "macro_f1": 0.8070464402864661
  },
  "mteb_jpn": {
   "n": 600,
   "acc": 0.705,
   "macro_f1": 0.7028531137468208
  },
  "mteb_kor": {
   "n": 600,
   "acc": 0.6483333333333333,
   "macro_f1": 0.6372232967977649
  },
  "mteb_mlt": {
   "n": 171,
   "acc": 0.7017543859649122,
   "macro_f1": 0.6068965517241379
  },
  "mteb_nor": {
   "n": 417,
   "acc": 0.7218225419664268,
   "macro_f1": 0.6798422111617071
  },
  "mteb_pol": {
   "n": 480,
   "acc": 0.9104166666666667,
   "macro_f1": 0.9093938076988924
  },
  "mteb_rus": {
   "n": 585,
   "acc": 0.6735042735042736,
   "macro_f1": 0.6463869663049361
  },
  "mteb_slk": {
   "n": 428,
   "acc": 0.8808411214953271,
   "macro_f1": 0.8649048429521894
  },
  "mteb_spa": {
   "n": 296,
   "acc": 0.9155405405405406,
   "macro_f1": 0.8507793752898711
  },
  "mteb_tha": {
   "n": 600,
   "acc": 0.5116666666666667,
   "macro_f1": 0.40807881508018545
  },
  "mteb_tur": {
   "n": 211,
   "acc": 0.7203791469194313,
   "macro_f1": 0.7194717984541542
  },
  "mteb_uig": {
   "n": 400,
   "acc": 0.2875,
   "macro_f1": 0.27476763936866616
  },
  "mteb_urd": {
   "n": 294,
   "acc": 0.6666666666666666,
   "macro_f1": 0.66541248606466
  },
  "mteb_vie": {
   "n": 600,
   "acc": 0.6566666666666666,
   "macro_f1": 0.6498028015775874
  },
  "mteb_zho": {
   "n": 600,
   "acc": 0.6966666666666667,
   "macro_f1": 0.6908932392803361
  },
  "tweets_ar": {
   "n": 870,
   "acc": 0.47126436781609193,
   "macro_f1": 0.3759972197651062
  },
  "tweets_en": {
   "n": 870,
   "acc": 0.5540229885057472,
   "macro_f1": 0.45623739759520965
  },
  "tweets_fr": {
   "n": 870,
   "acc": 0.4885057471264368,
   "macro_f1": 0.4031483853453215
  },
  "tweets_ge": {
   "n": 870,
   "acc": 0.49310344827586206,
   "macro_f1": 0.40431698819469664
  },
  "tweets_hi": {
   "n": 870,
   "acc": 0.4126436781609195,
   "macro_f1": 0.330432169000453
  },
  "tweets_it": {
   "n": 870,
   "acc": 0.4804597701149425,
   "macro_f1": 0.3916747853602554
  },
  "tweets_po": {
   "n": 870,
   "acc": 0.432183908045977,
   "macro_f1": 0.3488304831455879
  },
  "tweets_sp": {
   "n": 870,
   "acc": 0.49885057471264366,
   "macro_f1": 0.4109272962946702
  },
  "_tweets_mean_f1": 0.39019559058766257,
  "_amazon_mean_f1": 0.6451516636322424,
  "_mteb_mean_f1": 0.6834773597836626
 },
 "tabularisai/multilingual-sentiment-analysis": {
  "amazon_de": {
   "n": 900,
   "acc": 0.5588888888888889,
   "macro_f1": 0.4924871468814462
  },
  "amazon_en": {
   "n": 900,
   "acc": 0.5466666666666666,
   "macro_f1": 0.46954329218039836
  },
  "amazon_es": {
   "n": 900,
   "acc": 0.5766666666666667,
   "macro_f1": 0.5068792565453322
  },
  "amazon_fr": {
   "n": 900,
   "acc": 0.5677777777777778,
   "macro_f1": 0.5146320614843053
  },
  "amazon_ja": {
   "n": 900,
   "acc": 0.5455555555555556,
   "macro_f1": 0.5077662599660059
  },
  "amazon_zh": {
   "n": 900,
   "acc": 0.5288888888888889,
   "macro_f1": 0.4748351082982151
  },
  "mteb_ara": {
   "n": 600,
   "acc": 0.6766666666666666,
   "macro_f1": 0.6765768268963601
  },
  "mteb_bam": {
   "n": 480,
   "acc": 0.5125,
   "macro_f1": 0.5019068736141907
  },
  "mteb_bul": {
   "n": 600,
   "acc": 0.7466666666666667,
   "macro_f1": 0.7459440185416295
  },
  "mteb_cmn": {
   "n": 600,
   "acc": 0.7566666666666667,
   "macro_f1": 0.7491293988269795
  },
  "mteb_cym": {
   "n": 600,
   "acc": 0.625,
   "macro_f1": 0.6249906247656192
  },
  "mteb_deu": {
   "n": 513,
   "acc": 0.7212475633528265,
   "macro_f1": 0.7072957605985037
  },
  "mteb_dza": {
   "n": 92,
   "acc": 0.5652173913043478,
   "macro_f1": 0.5643939393939394
  },
  "mteb_ell": {
   "n": 600,
   "acc": 0.4866666666666667,
   "macro_f1": 0.48481198983005486
  },
  "mteb_eng": {
   "n": 600,
   "acc": 0.765,
   "macro_f1": 0.7625456454071107
  },
  "mteb_eus": {
   "n": 227,
   "acc": 0.6255506607929515,
   "macro_f1": 0.5557116212668953
  },
  "mteb_fas": {
   "n": 600,
   "acc": 0.665,
   "macro_f1": 0.6612654516039334
  },
  "mteb_fin": {
   "n": 600,
   "acc": 0.6366666666666667,
   "macro_f1": 0.6327452015408979
  },
  "mteb_heb": {
   "n": 600,
   "acc": 0.6633333333333333,
   "macro_f1": 0.6623729720092708
  },
  "mteb_hrv": {
   "n": 396,
   "acc": 0.7777777777777778,
   "macro_f1": 0.7344226313864163
  },
  "mteb_ind": {
   "n": 600,
   "acc": 0.795,
   "macro_f1": 0.7948717948717949
  },
  "mteb_jpn": {
   "n": 600,
   "acc": 0.835,
   "macro_f1": 0.8332767297539287
  },
  "mteb_kor": {
   "n": 600,
   "acc": 0.6966666666666667,
   "macro_f1": 0.6941896024464831
  },
  "mteb_mlt": {
   "n": 171,
   "acc": 0.6081871345029239,
   "macro_f1": 0.5647863247863247
  },
  "mteb_nor": {
   "n": 417,
   "acc": 0.6354916067146283,
   "macro_f1": 0.6155376552795031
  },
  "mteb_pol": {
   "n": 480,
   "acc": 0.9125,
   "macro_f1": 0.9112035095755739
  },
  "mteb_rus": {
   "n": 585,
   "acc": 0.6905982905982906,
   "macro_f1": 0.6870834946406565
  },
  "mteb_slk": {
   "n": 428,
   "acc": 0.8434579439252337,
   "macro_f1": 0.8153449885701407
  },
  "mteb_spa": {
   "n": 296,
   "acc": 0.8614864864864865,
   "macro_f1": 0.8012023522859436
  },
  "mteb_tha": {
   "n": 600,
   "acc": 0.5566666666666666,
   "macro_f1": 0.5505491410870178
  },
  "mteb_tur": {
   "n": 211,
   "acc": 0.7488151658767772,
   "macro_f1": 0.744312595742735
  },
  "mteb_uig": {
   "n": 400,
   "acc": 0.25,
   "macro_f1": 0.2
  },
  "mteb_urd": {
   "n": 294,
   "acc": 0.6598639455782312,
   "macro_f1": 0.6594699777613047
  },
  "mteb_vie": {
   "n": 600,
   "acc": 0.7333333333333333,
   "macro_f1": 0.7302643409458731
  },
  "mteb_zho": {
   "n": 600,
   "acc": 0.7716666666666666,
   "macro_f1": 0.7694372529935292
  },
  "tweets_ar": {
   "n": 870,
   "acc": 0.5160919540229885,
   "macro_f1": 0.5111672975225248
  },
  "tweets_en": {
   "n": 870,
   "acc": 0.5827586206896552,
   "macro_f1": 0.5831263580167602
  },
  "tweets_fr": {
   "n": 870,
   "acc": 0.41954022988505746,
   "macro_f1": 0.36535908375349074
  },
  "tweets_ge": {
   "n": 870,
   "acc": 0.5310344827586206,
   "macro_f1": 0.524615475363232
  },
  "tweets_hi": {
   "n": 870,
   "acc": 0.4517241379310345,
   "macro_f1": 0.4473377108558656
  },
  "tweets_it": {
   "n": 870,
   "acc": 0.5160919540229885,
   "macro_f1": 0.5031138596691973
  },
  "tweets_po": {
   "n": 870,
   "acc": 0.5367816091954023,
   "macro_f1": 0.5330381669613901
  },
  "tweets_sp": {
   "n": 870,
   "acc": 0.5379310344827586,
   "macro_f1": 0.5234580562477517
  },
  "_tweets_mean_f1": 0.4989020010487766,
  "_amazon_mean_f1": 0.4943571875592838,
  "_mteb_mean_f1": 0.6701945764283659
 },
 "cardiffnlp/twitter-xlm-roberta-base-sentiment-multilingual": {
  "amazon_de": {
   "n": 900,
   "acc": 0.5966666666666667,
   "macro_f1": 0.5449580133892785
  },
  "amazon_en": {
   "n": 900,
   "acc": 0.5888888888888889,
   "macro_f1": 0.555571325719678
  },
  "amazon_es": {
   "n": 900,
   "acc": 0.6366666666666667,
   "macro_f1": 0.6123737310653817
  },
  "amazon_fr": {
   "n": 900,
   "acc": 0.5933333333333334,
   "macro_f1": 0.5245163896797583
  },
  "amazon_ja": {
   "n": 900,
   "acc": 0.6111111111111112,
   "macro_f1": 0.5441048376566283
  },
  "amazon_zh": {
   "n": 900,
   "acc": 0.5877777777777777,
   "macro_f1": 0.5504201500737631
  },
  "mteb_ara": {
   "n": 600,
   "acc": 0.8516666666666667,
   "macro_f1": 0.851160197895617
  },
  "mteb_bam": {
   "n": 480,
   "acc": 0.625,
   "macro_f1": 0.5712158808933002
  },
  "mteb_bul": {
   "n": 600,
   "acc": 0.8366666666666667,
   "macro_f1": 0.8351260108345764
  },
  "mteb_cmn": {
   "n": 600,
   "acc": 0.8066666666666666,
   "macro_f1": 0.8066322901849218
  },
  "mteb_cym": {
   "n": 600,
   "acc": 0.5066666666666667,
   "macro_f1": 0.358974358974359
  },
  "mteb_deu": {
   "n": 513,
   "acc": 0.7894736842105263,
   "macro_f1": 0.7791331802525832
  },
  "mteb_dza": {
   "n": 92,
   "acc": 0.8043478260869565,
   "macro_f1": 0.764102564102564
  },
  "mteb_ell": {
   "n": 600,
   "acc": 0.7266666666666667,
   "macro_f1": 0.7266393305997266
  },
  "mteb_eng": {
   "n": 600,
   "acc": 0.8383333333333334,
   "macro_f1": 0.8377813392794927
  },
  "mteb_eus": {
   "n": 227,
   "acc": 0.7444933920704846,
   "macro_f1": 0.6169110800744879
  },
  "mteb_fas": {
   "n": 600,
   "acc": 0.7916666666666666,
   "macro_f1": 0.7907827236741901
  },
  "mteb_fin": {
   "n": 600,
   "acc": 0.89,
   "macro_f1": 0.8894052459895437
  },
  "mteb_heb": {
   "n": 600,
   "acc": 0.845,
   "macro_f1": 0.844947885261435
  },
  "mteb_hrv": {
   "n": 396,
   "acc": 0.8914141414141414,
   "macro_f1": 0.8483636849369963
  },
  "mteb_ind": {
   "n": 600,
   "acc": 0.93,
   "macro_f1": 0.9299929992999301
  },
  "mteb_jpn": {
   "n": 600,
   "acc": 0.8333333333333334,
   "macro_f1": 0.8333333333333334
  },
  "mteb_kor": {
   "n": 600,
   "acc": 0.7733333333333333,
   "macro_f1": 0.7730812013348165
  },
  "mteb_mlt": {
   "n": 171,
   "acc": 0.4853801169590643,
   "macro_f1": 0.4849397590361446
  },
  "mteb_nor": {
   "n": 417,
   "acc": 0.7865707434052758,
   "macro_f1": 0.7390176154143666
  },
  "mteb_pol": {
   "n": 480,
   "acc": 0.8520833333333333,
   "macro_f1": 0.8506514279704283
  },
  "mteb_rus": {
   "n": 585,
   "acc": 0.6273504273504273,
   "macro_f1": 0.5626543209876543
  },
  "mteb_slk": {
   "n": 428,
   "acc": 0.8785046728971962,
   "macro_f1": 0.8516859922697587
  },
  "mteb_spa": {
   "n": 296,
   "acc": 0.956081081081081,
   "macro_f1": 0.9211588501649354
  },
  "mteb_tha": {
   "n": 600,
   "acc": 0.7983333333333333,
   "macro_f1": 0.7979241296959676
  },
  "mteb_tur": {
   "n": 211,
   "acc": 0.8862559241706162,
   "macro_f1": 0.8803176403857061
  },
  "mteb_uig": {
   "n": 400,
   "acc": 0.785,
   "macro_f1": 0.5601248018004195
  },
  "mteb_urd": {
   "n": 294,
   "acc": 0.782312925170068,
   "macro_f1": 0.7808525506638715
  },
  "mteb_vie": {
   "n": 600,
   "acc": 0.795,
   "macro_f1": 0.7942174547097156
  },
  "mteb_zho": {
   "n": 600,
   "acc": 0.7566666666666667,
   "macro_f1": 0.7557875016726884
  },
  "tweets_ar": {
   "n": 870,
   "acc": 0.6586206896551724,
   "macro_f1": 0.6568235409550961
  },
  "tweets_en": {
   "n": 870,
   "acc": 0.7149425287356321,
   "macro_f1": 0.7131673612083561
  },
  "tweets_fr": {
   "n": 870,
   "acc": 0.7183908045977011,
   "macro_f1": 0.7183247157038187
  },
  "tweets_ge": {
   "n": 870,
   "acc": 0.7609195402298851,
   "macro_f1": 0.759842836300559
  },
  "tweets_hi": {
   "n": 870,
   "acc": 0.5758620689655173,
   "macro_f1": 0.5760810394526915
  },
  "tweets_it": {
   "n": 870,
   "acc": 0.664367816091954,
   "macro_f1": 0.66223871910882
  },
  "tweets_po": {
   "n": 870,
   "acc": 0.7551724137931034,
   "macro_f1": 0.7547411039273965
  },
  "tweets_sp": {
   "n": 870,
   "acc": 0.6954022988505747,
   "macro_f1": 0.6958587120944761
  },
  "_tweets_mean_f1": 0.6921347535939018,
  "_amazon_mean_f1": 0.5553240745974147,
  "_mteb_mean_f1": 0.7598936328170184
 },
 "clapAI/modernBERT-base-multilingual-sentiment": {
  "amazon_de": {
   "n": 900,
   "acc": 0.8244444444444444,
   "macro_f1": 0.8166338302169684
  },
  "amazon_en": {
   "n": 900,
   "acc": 0.8088888888888889,
   "macro_f1": 0.8103269905172371
  },
  "amazon_es": {
   "n": 900,
   "acc": 0.7822222222222223,
   "macro_f1": 0.7659433594057566
  },
  "amazon_fr": {
   "n": 900,
   "acc": 0.7411111111111112,
   "macro_f1": 0.7209282075813489
  },
  "amazon_ja": {
   "n": 900,
   "acc": 0.7944444444444444,
   "macro_f1": 0.7867280284444869
  },
  "amazon_zh": {
   "n": 900,
   "acc": 0.7477777777777778,
   "macro_f1": 0.7491341943318276
  },
  "mteb_ara": {
   "n": 600,
   "acc": 0.7,
   "macro_f1": 0.6995961236773884
  },
  "mteb_bam": {
   "n": 480,
   "acc": 0.5854166666666667,
   "macro_f1": 0.572638483117162
  },
  "mteb_bul": {
   "n": 600,
   "acc": 0.7016666666666667,
   "macro_f1": 0.7007614701137608
  },
  "mteb_cmn": {
   "n": 600,
   "acc": 0.7466666666666667,
   "macro_f1": 0.7349792516650975
  },
  "mteb_cym": {
   "n": 600,
   "acc": 0.5233333333333333,
   "macro_f1": 0.5202630166398282
  },
  "mteb_deu": {
   "n": 513,
   "acc": 0.6666666666666666,
   "macro_f1": 0.6506020257379446
  },
  "mteb_dza": {
   "n": 92,
   "acc": 0.5760869565217391,
   "macro_f1": 0.5756357185097576
  },
  "mteb_ell": {
   "n": 600,
   "acc": 0.53,
   "macro_f1": 0.49497964397855754
  },
  "mteb_eng": {
   "n": 600,
   "acc": 0.915,
   "macro_f1": 0.914874913414434
  },
  "mteb_eus": {
   "n": 227,
   "acc": 0.43612334801762115,
   "macro_f1": 0.3890664423885618
  },
  "mteb_fas": {
   "n": 600,
   "acc": 0.585,
   "macro_f1": 0.5832391855589867
  },
  "mteb_fin": {
   "n": 600,
   "acc": 0.6766666666666666,
   "macro_f1": 0.671394371922851
  },
  "mteb_heb": {
   "n": 600,
   "acc": 0.5466666666666666,
   "macro_f1": 0.4925120652768794
  },
  "mteb_hrv": {
   "n": 396,
   "acc": 0.5429292929292929,
   "macro_f1": 0.5363987400311758
  },
  "mteb_ind": {
   "n": 600,
   "acc": 0.9533333333333334,
   "macro_f1": 0.9533079120854687
  },
  "mteb_jpn": {
   "n": 600,
   "acc": 0.9133333333333333,
   "macro_f1": 0.9132552630700964
  },
  "mteb_kor": {
   "n": 600,
   "acc": 0.8466666666666667,
   "macro_f1": 0.8461727101470277
  },
  "mteb_mlt": {
   "n": 171,
   "acc": 0.5847953216374269,
   "macro_f1": 0.5308188739034665
  },
  "mteb_nor": {
   "n": 417,
   "acc": 0.5995203836930456,
   "macro_f1": 0.5842174709980954
  },
  "mteb_pol": {
   "n": 480,
   "acc": 0.6895833333333333,
   "macro_f1": 0.673982905982906
  },
  "mteb_rus": {
   "n": 585,
   "acc": 0.6393162393162393,
   "macro_f1": 0.6305723905723906
  },
  "mteb_slk": {
   "n": 428,
   "acc": 0.602803738317757,
   "macro_f1": 0.6008426411533652
  },
  "mteb_spa": {
   "n": 296,
   "acc": 0.9121621621621622,
   "macro_f1": 0.856845238095238
  },
  "mteb_tha": {
   "n": 600,
   "acc": 0.5916666666666667,
   "macro_f1": 0.585867663589316
  },
  "mteb_tur": {
   "n": 211,
   "acc": 0.6824644549763034,
   "macro_f1": 0.6635729754170534
  },
  "mteb_uig": {
   "n": 400,
   "acc": 0.7325,
   "macro_f1": 0.5175344658497818
  },
  "mteb_urd": {
   "n": 294,
   "acc": 0.5238095238095238,
   "macro_f1": 0.5107687918984454
  },
  "mteb_vie": {
   "n": 600,
   "acc": 0.75,
   "macro_f1": 0.7499305362600722
  },
  "mteb_zho": {
   "n": 600,
   "acc": 0.7783333333333333,
   "macro_f1": 0.7776607571236323
  },
  "tweets_ar": {
   "n": 870,
   "acc": 0.6080459770114942,
   "macro_f1": 0.6016260620633344
  },
  "tweets_en": {
   "n": 870,
   "acc": 0.8701149425287357,
   "macro_f1": 0.8701272745749559
  },
  "tweets_fr": {
   "n": 870,
   "acc": 0.8379310344827586,
   "macro_f1": 0.8376779696931371
  },
  "tweets_ge": {
   "n": 870,
   "acc": 0.8471264367816091,
   "macro_f1": 0.8466302208989956
  },
  "tweets_hi": {
   "n": 870,
   "acc": 0.674712643678161,
   "macro_f1": 0.6715542481681508
  },
  "tweets_it": {
   "n": 870,
   "acc": 0.8816091954022989,
   "macro_f1": 0.8816519572497334
  },
  "tweets_po": {
   "n": 870,
   "acc": 0.7896551724137931,
   "macro_f1": 0.7889743557971792
  },
  "tweets_sp": {
   "n": 870,
   "acc": 0.7816091954022989,
   "macro_f1": 0.7770207938055876
  },
  "_tweets_mean_f1": 0.7844078602813843,
  "_amazon_mean_f1": 0.7749491017496042,
  "_mteb_mean_f1": 0.6528376568337498
 }
}