OPSD / reports /frozen_v3 /fixed_internvl_replacement.json
HEART77's picture
Publish completed frozen-v3 evaluation reports
7c54f41 verified
Raw History Blame Contribute Delete
9.33 kB
{
"behavior": "replacement",
"arms": {
"Deep8": {
"color": {
"gain": 5.5,
"ci95": [
2.1975709475709477,
9.153808195258971
]
},
"count": {
"gain": 0.6666666666666666,
"ci95": [
-4.283120510774142,
5.699597314196522
]
},
"behavior": {
"gain": 3.0833333333333335,
"ci95": [
0.041972000238318305,
6.1282139502268365
]
},
"runs": 3
},
"Full": {
"color": {
"gain": 5.833333333333333,
"ci95": [
2.4560113519091846,
9.479161358270058
]
},
"count": {
"gain": 0.6666666666666666,
"ci95": [
-4.715958061219957,
6.250560035842296
]
},
"behavior": {
"gain": 3.25,
"ci95": [
0.03493230625583557,
6.558021532610946
]
},
"runs": 3
},
"Middle8": {
"color": {
"gain": 6.166666666666667,
"ci95": [
2.640046899426785,
10.047846889952153
]
},
"count": {
"gain": 0.0,
"ci95": [
-5.5555555555555545,
5.641093474426809
]
},
"behavior": {
"gain": 3.0833333333333335,
"ci95": [
-0.1524001016193441,
6.519581833336135
]
},
"runs": 3
},
"Random8": {
"color": {
"gain": 5.05,
"ci95": [
1.8817071223251354,
8.398106796116503
]
},
"count": {
"gain": 0.8,
"ci95": [
-4.0308084772370485,
5.868597155069721
]
},
"behavior": {
"gain": 2.925,
"ci95": [
-0.028902785810680506,
5.880289649718909
]
},
"runs": 10
},
"Shallow8": {
"color": {
"gain": 4.5,
"ci95": [
1.0415317357512954,
8.243819975612459
]
},
"count": {
"gain": 0.3333333333333333,
"ci95": [
-5.263854079643553,
6.122896527031868
]
},
"behavior": {
"gain": 2.4166666666666665,
"ci95": [
-0.9788146698554657,
5.777629470307291
]
},
"runs": 3
},
"Top8": {
"color": {
"gain": 4.833333333333333,
"ci95": [
1.4771185835653606,
8.421908429610614
]
},
"count": {
"gain": -0.16666666666666666,
"ci95": [
-5.729916557591623,
5.492762445887447
]
},
"behavior": {
"gain": 2.3333333333333335,
"ci95": [
-0.916828529657477,
5.568640197353072
]
},
"runs": 3
},
"TopDelta8": {
"color": {
"gain": 6.0,
"ci95": [
2.512562814070352,
9.667063492063493
]
},
"count": {
"gain": 0.3333333333333333,
"ci95": [
-4.957264957264957,
5.582943662324023
]
},
"behavior": {
"gain": 3.1666666666666665,
"ci95": [
-0.07104606737497907,
6.437948987509699
]
},
"runs": 3
}
},
"contrasts": {
"Top8-Random8": {
"color": {
"difference": -0.21666666666666679,
"ci95": [
-1.7863636363636373,
1.2592563621193162
]
},
"count": {
"difference": -0.9666666666666667,
"ci95": [
-3.583524557165861,
1.7464901988953845
]
},
"behavior": {
"difference": -0.5916666666666663,
"ci95": [
-2.124358758652281,
0.9655486008411758
]
}
},
"TopDelta8-Random8": {
"color": {
"difference": 0.9500000000000002,
"ci95": [
-2.7755575615619447e-18,
2.349755536381937
]
},
"count": {
"difference": -0.46666666666666673,
"ci95": [
-2.4317695104337864,
1.4085655235762413
]
},
"behavior": {
"difference": 0.2416666666666667,
"ci95": [
-0.9317343049122525,
1.551202012472187
]
}
},
"Shallow8-Random8": {
"color": {
"difference": -0.5499999999999998,
"ci95": [
-2.4752475247524752,
1.1836242138364783
]
},
"count": {
"difference": -0.46666666666666673,
"ci95": [
-3.414695428361319,
2.7127896613190745
]
},
"behavior": {
"difference": -0.5083333333333333,
"ci95": [
-2.2997894154415555,
1.3372060167433903
]
}
},
"Middle8-Random8": {
"color": {
"difference": 1.1166666666666671,
"ci95": [
-0.338409475465312,
2.947043066144653
]
},
"count": {
"difference": -0.8,
"ci95": [
-3.4155755768732177,
2.0574264394753117
]
},
"behavior": {
"difference": 0.15833333333333366,
"ci95": [
-1.300025255127855,
1.886065176539661
]
}
},
"Deep8-Random8": {
"color": {
"difference": 0.4500000000000002,
"ci95": [
-0.6767266360782422,
1.7058284667353703
]
},
"count": {
"difference": -0.13333333333333341,
"ci95": [
-2.227644288819126,
1.8501392804403283
]
},
"behavior": {
"difference": 0.15833333333333366,
"ci95": [
-0.9475457822480527,
1.2506931292087544
]
}
},
"Top8-Shallow8": {
"color": {
"difference": 0.33333333333333304,
"ci95": [
-0.6472491909385107,
1.4219065480565345
]
},
"count": {
"difference": -0.5,
"ci95": [
-3.0895147095800852,
1.8425460636515916
]
},
"behavior": {
"difference": -0.08333333333333304,
"ci95": [
-1.4753264033196176,
1.250011198196622
]
}
},
"Deep8-Full": {
"color": {
"difference": -0.33333333333333304,
"ci95": [
-1.8518518518518512,
0.9569377990430628
]
},
"count": {
"difference": 0.0,
"ci95": [
-2.8709550757373354,
2.4179620034542313
]
},
"behavior": {
"difference": -0.16666666666666652,
"ci95": [
-1.8273203478127629,
1.1345159142640158
]
}
},
"Middle8-Full": {
"color": {
"difference": 0.3333333333333339,
"ci95": [
-1.2404549735564718,
2.1166835528537673
]
},
"count": {
"difference": -0.6666666666666666,
"ci95": [
-3.608450042144849,
2.4563131967850667
]
},
"behavior": {
"difference": -0.16666666666666652,
"ci95": [
-1.7780610883128138,
1.6718349602314826
]
}
},
"Random8-Full": {
"color": {
"difference": -0.7833333333333332,
"ci95": [
-2.1539682539682525,
0.09393024815559997
]
},
"count": {
"difference": 0.13333333333333341,
"ci95": [
-2.425782770584751,
2.3811846689895484
]
},
"behavior": {
"difference": -0.3250000000000002,
"ci95": [
-1.9248199954998866,
0.8313538662677991
]
}
},
"Shallow8-Full": {
"color": {
"difference": -1.333333333333333,
"ci95": [
-3.472304502369669,
0.49757462686567183
]
},
"count": {
"difference": -0.3333333333333333,
"ci95": [
-3.3874103552626122,
2.966841186736475
]
},
"behavior": {
"difference": -0.8333333333333335,
"ci95": [
-2.727315779882576,
1.011495180903665
]
}
},
"Top8-Full": {
"color": {
"difference": -1.0,
"ci95": [
-2.837047494201875,
0.5025125628140703
]
},
"count": {
"difference": -0.8333333333333333,
"ci95": [
-3.426791277258567,
1.9906648078289892
]
},
"behavior": {
"difference": -0.9166666666666665,
"ci95": [
-2.5295529286117837,
0.7356618762855107
]
}
},
"TopDelta8-Full": {
"color": {
"difference": 0.16666666666666696,
"ci95": [
-1.0002525252525252,
1.4563327851168058
]
},
"count": {
"difference": -0.3333333333333333,
"ci95": [
-2.724358974358974,
1.8730125079499695
]
},
"behavior": {
"difference": -0.08333333333333348,
"ci95": [
-1.5632915846466247,
1.261240453313624
]
}
}
}
}