OPSD / reports /frozen_v3 /fixed_internvl_context.json
HEART77's picture
Publish completed frozen-v3 evaluation reports
7c54f41 verified
Raw History Blame Contribute Delete
9.25 kB
{
"behavior": "context",
"arms": {
"Deep8": {
"color": {
"gain": 0.6666666666666666,
"ci95": [
-2.8851495726495724,
4.30134274862248
]
},
"count": {
"gain": 6.0,
"ci95": [
-0.3089387464387463,
12.440634414318627
]
},
"behavior": {
"gain": 3.3333333333333335,
"ci95": [
-0.14629087479152567,
6.896319368090022
]
},
"runs": 3
},
"Full": {
"color": {
"gain": -1.3333333333333333,
"ci95": [
-5.235845713627626,
2.525252525252525
]
},
"count": {
"gain": 6.166666666666667,
"ci95": [
0.1593250223139166,
12.439365671641797
]
},
"behavior": {
"gain": 2.4166666666666665,
"ci95": [
-1.0492949917524397,
6.024416320892247
]
},
"runs": 3
},
"Middle8": {
"color": {
"gain": -1.1666666666666667,
"ci95": [
-5.090369002006933,
2.551677887649907
]
},
"count": {
"gain": 5.833333333333333,
"ci95": [
-0.15515003152702056,
11.800633309566754
]
},
"behavior": {
"gain": 2.3333333333333335,
"ci95": [
-1.1875944213336809,
5.952674244050197
]
},
"runs": 3
},
"Random8": {
"color": {
"gain": -1.35,
"ci95": [
-5.240502450980392,
2.376411122420653
]
},
"count": {
"gain": 5.5,
"ci95": [
-0.5127975549332181,
11.65011934386268
]
},
"behavior": {
"gain": 2.075,
"ci95": [
-1.4575639045988473,
5.653853078777224
]
},
"runs": 10
},
"Shallow8": {
"color": {
"gain": -1.6666666666666667,
"ci95": [
-5.650520030816641,
2.041077969649399
]
},
"count": {
"gain": 8.0,
"ci95": [
1.1709938581797883,
15.13607496138552
]
},
"behavior": {
"gain": 3.1666666666666665,
"ci95": [
-0.7516368938263859,
7.30842545834873
]
},
"runs": 3
},
"Top8": {
"color": {
"gain": -1.1666666666666667,
"ci95": [
-5.0,
2.6604251737230493
]
},
"count": {
"gain": 7.333333333333333,
"ci95": [
1.2930001198609617,
13.70608141733851
]
},
"behavior": {
"gain": 3.0833333333333335,
"ci95": [
-0.38387615699588057,
6.626760928184765
]
},
"runs": 3
},
"TopDelta8": {
"color": {
"gain": -1.0,
"ci95": [
-5.009047829822689,
2.7178325901152003
]
},
"count": {
"gain": 6.166666666666667,
"ci95": [
0.0,
12.661406765676572
]
},
"behavior": {
"gain": 2.5833333333333335,
"ci95": [
-1.0620537828110266,
6.287815742174594
]
},
"runs": 3
}
},
"contrasts": {
"Top8-Random8": {
"color": {
"difference": 0.18333333333333335,
"ci95": [
-2.160848960248397,
2.364025682736864
]
},
"count": {
"difference": 1.833333333333333,
"ci95": [
-1.2166732804232814,
5.50582260267291
]
},
"behavior": {
"difference": 1.0083333333333333,
"ci95": [
-0.8398903832366266,
2.9564089965896843
]
}
},
"TopDelta8-Random8": {
"color": {
"difference": 0.3500000000000001,
"ci95": [
-1.4716913468049464,
2.1976762207848584
]
},
"count": {
"difference": 0.666666666666667,
"ci95": [
-2.492174857724686,
4.010644745814078
]
},
"behavior": {
"difference": 0.5083333333333333,
"ci95": [
-1.4081065709933367,
2.507500587254224
]
}
},
"Shallow8-Random8": {
"color": {
"difference": -0.31666666666666665,
"ci95": [
-3.317155993278566,
2.921225885475147
]
},
"count": {
"difference": 2.5,
"ci95": [
-2.0037219970730615,
7.081490686115112
]
},
"behavior": {
"difference": 1.0916666666666663,
"ci95": [
-1.890742755680293,
4.073317216367707
]
}
},
"Middle8-Random8": {
"color": {
"difference": 0.18333333333333335,
"ci95": [
-2.1770606300772735,
2.1987757514353268
]
},
"count": {
"difference": 0.33333333333333304,
"ci95": [
-2.908586511527689,
3.6753663003663
]
},
"behavior": {
"difference": 0.2583333333333333,
"ci95": [
-1.876531954887218,
2.247400161900185
]
}
},
"Deep8-Random8": {
"color": {
"difference": 2.0166666666666666,
"ci95": [
-0.862992179997256,
5.200811991162236
]
},
"count": {
"difference": 0.5,
"ci95": [
-3.760459056186194,
4.877094393164028
]
},
"behavior": {
"difference": 1.2583333333333333,
"ci95": [
-1.2798553307024108,
3.905312345388439
]
}
},
"Top8-Shallow8": {
"color": {
"difference": 0.5,
"ci95": [
-2.623659844054581,
3.4017966160823323
]
},
"count": {
"difference": -0.666666666666667,
"ci95": [
-5.664223219658161,
4.592425431711148
]
},
"behavior": {
"difference": -0.08333333333333304,
"ci95": [
-3.2126736137582186,
2.9376729918440287
]
}
},
"Deep8-Full": {
"color": {
"difference": 2.0,
"ci95": [
-0.9760951340856691,
5.263381668456858
]
},
"count": {
"difference": -0.16666666666666696,
"ci95": [
-4.598006847640008,
4.146455223880598
]
},
"behavior": {
"difference": 0.916666666666667,
"ci95": [
-1.5576810891528263,
3.418970352564103
]
}
},
"Middle8-Full": {
"color": {
"difference": 0.16666666666666652,
"ci95": [
-2.427480464125029,
2.5516571362844678
]
},
"count": {
"difference": -0.3333333333333339,
"ci95": [
-4.085338680926918,
3.2815836715247113
]
},
"behavior": {
"difference": -0.08333333333333304,
"ci95": [
-2.33340673272612,
1.9279814647004245
]
}
},
"Random8-Full": {
"color": {
"difference": -0.01666666666666683,
"ci95": [
-1.8790123917587334,
1.7173896323642523
]
},
"count": {
"difference": -0.666666666666667,
"ci95": [
-3.688064942288972,
2.397506105540414
]
},
"behavior": {
"difference": -0.34166666666666634,
"ci95": [
-1.9993687147141845,
1.3131350530382426
]
}
},
"Shallow8-Full": {
"color": {
"difference": -0.3333333333333335,
"ci95": [
-3.465777547904044,
3.0748924031628486
]
},
"count": {
"difference": 1.833333333333333,
"ci95": [
-3.151305970149254,
7.193224896411884
]
},
"behavior": {
"difference": 0.75,
"ci95": [
-2.329369379284607,
3.9194275271084056
]
}
},
"Top8-Full": {
"color": {
"difference": 0.16666666666666652,
"ci95": [
-2.39298493525382,
2.4756716325838206
]
},
"count": {
"difference": 1.166666666666666,
"ci95": [
-2.469596462133776,
5.1158288905813665
]
},
"behavior": {
"difference": 0.666666666666667,
"ci95": [
-1.4385378065395786,
2.642019828518
]
}
},
"TopDelta8-Full": {
"color": {
"difference": 0.33333333333333326,
"ci95": [
-1.5708872967759713,
2.1835347654124955
]
},
"count": {
"difference": 0.0,
"ci95": [
-3.61292656359232,
3.6088003130209954
]
},
"behavior": {
"difference": 0.16666666666666696,
"ci95": [
-1.8426120250215976,
2.082723897389739
]
}
}
}
}