matCercola18 commited on
Commit
7a42bd6
·
verified ·
1 Parent(s): 3f3d396

X26 diag, X27 stage A outputs (v1 + 3fcbe8a), re-timed oracles from move-HPC

Browse files
Files changed (39) hide show
  1. results/icml_r3/X26/cand_rej_m3_s0.npz +3 -0
  2. results/icml_r3/X26/cand_rej_m3_s1.npz +3 -0
  3. results/icml_r3/X26/cand_rej_m3_s2.npz +3 -0
  4. results/icml_r3/X26/cand_rej_m4_s0.npz +3 -0
  5. results/icml_r3/X26/cand_rej_m4_s1.npz +3 -0
  6. results/icml_r3/X26/cand_rej_m4_s2.npz +3 -0
  7. results/icml_r3/X26/cand_rej_m5_s0.npz +3 -0
  8. results/icml_r3/X26/cand_rej_m5_s1.npz +3 -0
  9. results/icml_r3/X26/cand_rej_m5_s2.npz +3 -0
  10. results/icml_r3/X26/diag_m3.json +94 -0
  11. results/icml_r3/X26/diag_m4.json +94 -0
  12. results/icml_r3/X26/diag_m5.json +94 -0
  13. results/icml_r3/X27/cand64_d3fm3n8000_diff_s0.npz +3 -0
  14. results/icml_r3/X27/cand64_d3fm3n8000_diff_s1.npz +3 -0
  15. results/icml_r3/X27/cand64_d3fm3n8000_diff_s2.npz +3 -0
  16. results/icml_r3/X27/cand64_d3fm3n8000_reg_s0.npz +3 -0
  17. results/icml_r3/X27/cand64_d3fm3n8000_reg_s1.npz +3 -0
  18. results/icml_r3/X27/cand64_d3fm3n8000_reg_s2.npz +3 -0
  19. results/icml_r3/X27/cand64_d3fm4n8000_diff_s0.npz +3 -0
  20. results/icml_r3/X27/cand64_d3fm4n8000_diff_s1.npz +3 -0
  21. results/icml_r3/X27/cand64_d3fm4n8000_diff_s2.npz +3 -0
  22. results/icml_r3/X27/cand64_d3fm4n8000_reg_s0.npz +3 -0
  23. results/icml_r3/X27/cand64_d3fm4n8000_reg_s1.npz +3 -0
  24. results/icml_r3/X27/cand64_d3fm4n8000_reg_s2.npz +3 -0
  25. results/icml_r3/X27/cand64_d3fm5n8000_diff_s0.npz +3 -0
  26. results/icml_r3/X27/cand64_d3fm5n8000_diff_s1.npz +3 -0
  27. results/icml_r3/X27/cand64_d3fm5n8000_diff_s2.npz +3 -0
  28. results/icml_r3/X27/cand64_d3fm5n8000_reg_s0.npz +3 -0
  29. results/icml_r3/X27/cand64_d3fm5n8000_reg_s1.npz +3 -0
  30. results/icml_r3/X27/cand64_d3fm5n8000_reg_s2.npz +3 -0
  31. results/icml_r3/X27/oracle_movehpc_m3.npz +3 -0
  32. results/icml_r3/X27/oracle_movehpc_m4.npz +3 -0
  33. results/icml_r3/X27/oracle_movehpc_m5.npz +3 -0
  34. results/icml_r3/X27/x27_d3fm3n8000.json +276 -0
  35. results/icml_r3/X27/x27_d3fm3n8000_v1.json +260 -0
  36. results/icml_r3/X27/x27_d3fm4n8000.json +276 -0
  37. results/icml_r3/X27/x27_d3fm4n8000_v1.json +260 -0
  38. results/icml_r3/X27/x27_d3fm5n8000.json +276 -0
  39. results/icml_r3/X27/x27_d3fm5n8000_v1.json +260 -0
results/icml_r3/X26/cand_rej_m3_s0.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:ca62c442593cbe7c68c1f7890ff7dc2a338ef812a5065bc03040774d29c68517
3
+ size 12312
results/icml_r3/X26/cand_rej_m3_s1.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:95996813ca0c1d6aec820df8b5e3b5e2e12f36736c5884f16df13a55a55de0ff
3
+ size 12312
results/icml_r3/X26/cand_rej_m3_s2.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9977457a7704542f4bb5729497d98f71427a6f4e35a5f589edef56ef5dd36499
3
+ size 12312
results/icml_r3/X26/cand_rej_m4_s0.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:50d1613ca950192917e89de97987413355587ef3aaf3573e9bc76ed80d0c3fd7
3
+ size 25368
results/icml_r3/X26/cand_rej_m4_s1.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:fcfb902bfa20526f60f670307d493a106b99ad3ec86afba56af6852509effa51
3
+ size 25368
results/icml_r3/X26/cand_rej_m4_s2.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:ccf48c1a67dd04e4a611511e9b26d6b6d81e47a5cf25c72a6923b55e2c51da66
3
+ size 25368
results/icml_r3/X26/cand_rej_m5_s0.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3a79caba7f3d5402ee018fa312a6e5e101de2aec5582847eba7116b007e1cbf9
3
+ size 61592
results/icml_r3/X26/cand_rej_m5_s1.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b1e681d896b8737f8cec3ab7a9a32f505ca1627dc2ebacafa41abda8b93f5496
3
+ size 61592
results/icml_r3/X26/cand_rej_m5_s2.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3bb684d15f924fc400932bc0694388938b55ef524eab5b0b10591a29b8fb7e87
3
+ size 61592
results/icml_r3/X26/diag_m3.json ADDED
@@ -0,0 +1,94 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "m": 3,
3
+ "n_plants": 120,
4
+ "a_ref_certified": 1.0,
5
+ "a_bank_certified": 1.0,
6
+ "a_rate_b1_4_16": [
7
+ 0.5277777777777778,
8
+ 0.7833333333333333,
9
+ 0.9222222222222223
10
+ ],
11
+ "b_ref": {
12
+ "n": 120,
13
+ "0.001": 0.7854166666666667,
14
+ "0.003": 0.76875,
15
+ "0.01": 0.7541666666666667,
16
+ "0.03": 0.7,
17
+ "0.1": 0.6645833333333333
18
+ },
19
+ "b_gen": {
20
+ "n": 113,
21
+ "0.001": 0.9977876106194691,
22
+ "0.003": 0.9800884955752213,
23
+ "0.01": 0.9623893805309734,
24
+ "0.03": 0.9358407079646017,
25
+ "0.1": 0.827433628318584
26
+ },
27
+ "c_bins": [
28
+ {
29
+ "dist": "0-0.02",
30
+ "n": 0,
31
+ "certified": null,
32
+ "fail_nominally_unstable": null
33
+ },
34
+ {
35
+ "dist": "0.02-0.05",
36
+ "n": 0,
37
+ "certified": null,
38
+ "fail_nominally_unstable": null
39
+ },
40
+ {
41
+ "dist": "0.05-0.1",
42
+ "n": 2,
43
+ "certified": 0.5,
44
+ "fail_nominally_unstable": 0.0
45
+ },
46
+ {
47
+ "dist": "0.1-0.2",
48
+ "n": 338,
49
+ "certified": 0.757396449704142,
50
+ "fail_nominally_unstable": 0.3902439024390244
51
+ },
52
+ {
53
+ "dist": "0.2-0.5",
54
+ "n": 3949,
55
+ "certified": 0.5444416307926058,
56
+ "fail_nominally_unstable": 0.5969983324068927
57
+ },
58
+ {
59
+ "dist": "0.5-inf",
60
+ "n": 1471,
61
+ "certified": 0.32426920462270564,
62
+ "fail_nominally_unstable": 0.704225352112676
63
+ }
64
+ ],
65
+ "c_fail_nominally_unstable": 0.6279554937413073,
66
+ "c_median_dist": 0.3698301279353514,
67
+ "d_minmax_over_q01_99": [
68
+ 2.947656170829705,
69
+ 3.5458506417019287
70
+ ],
71
+ "d_absK_q50_90_99_max": [
72
+ 4.36619701196722,
73
+ 15.120777265217892,
74
+ 28.113491200406706,
75
+ 64.53894119108048
76
+ ],
77
+ "e": {
78
+ "n_kept": 120,
79
+ "n_rejected": 10,
80
+ "oracle48_share_of_draws": 0.9230769230769231,
81
+ "b1": {
82
+ "rejected": 0.03333333333333333,
83
+ "all_draws": 0.4897435897435897
84
+ },
85
+ "b4": {
86
+ "rejected": 0.16666666666666666,
87
+ "all_draws": 0.735897435897436
88
+ },
89
+ "b16": {
90
+ "rejected": 0.4,
91
+ "all_draws": 0.8820512820512821
92
+ }
93
+ }
94
+ }
results/icml_r3/X26/diag_m4.json ADDED
@@ -0,0 +1,94 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "m": 4,
3
+ "n_plants": 120,
4
+ "a_ref_certified": 1.0,
5
+ "a_bank_certified": 1.0,
6
+ "a_rate_b1_4_16": [
7
+ 0.3416666666666667,
8
+ 0.5861111111111111,
9
+ 0.8138888888888889
10
+ ],
11
+ "b_ref": {
12
+ "n": 120,
13
+ "0.001": 0.7520833333333333,
14
+ "0.003": 0.7270833333333333,
15
+ "0.01": 0.68125,
16
+ "0.03": 0.6958333333333333,
17
+ "0.1": 0.5791666666666667
18
+ },
19
+ "b_gen": {
20
+ "n": 99,
21
+ "0.001": 0.9949494949494949,
22
+ "0.003": 0.9873737373737373,
23
+ "0.01": 0.9646464646464646,
24
+ "0.03": 0.9242424242424242,
25
+ "0.1": 0.7676767676767676
26
+ },
27
+ "c_bins": [
28
+ {
29
+ "dist": "0-0.02",
30
+ "n": 0,
31
+ "certified": null,
32
+ "fail_nominally_unstable": null
33
+ },
34
+ {
35
+ "dist": "0.02-0.05",
36
+ "n": 0,
37
+ "certified": null,
38
+ "fail_nominally_unstable": null
39
+ },
40
+ {
41
+ "dist": "0.05-0.1",
42
+ "n": 0,
43
+ "certified": null,
44
+ "fail_nominally_unstable": null
45
+ },
46
+ {
47
+ "dist": "0.1-0.2",
48
+ "n": 19,
49
+ "certified": 0.8947368421052632,
50
+ "fail_nominally_unstable": 1.0
51
+ },
52
+ {
53
+ "dist": "0.2-0.5",
54
+ "n": 3524,
55
+ "certified": 0.39188422247446086,
56
+ "fail_nominally_unstable": 0.7162855809612693
57
+ },
58
+ {
59
+ "dist": "0.5-inf",
60
+ "n": 2217,
61
+ "certified": 0.2449255751014885,
62
+ "fail_nominally_unstable": 0.8106332138590203
63
+ }
64
+ ],
65
+ "c_fail_nominally_unstable": 0.7577899973815135,
66
+ "c_median_dist": 0.4508786557586306,
67
+ "d_minmax_over_q01_99": [
68
+ 3.3324435757429676,
69
+ 3.669204757562061
70
+ ],
71
+ "d_absK_q50_90_99_max": [
72
+ 3.0006171705736184,
73
+ 13.210466343555787,
74
+ 25.337882401825826,
75
+ 66.62717024885879
76
+ ],
77
+ "e": {
78
+ "n_kept": 120,
79
+ "n_rejected": 12,
80
+ "oracle48_share_of_draws": 0.9090909090909091,
81
+ "b1": {
82
+ "rejected": 0.0,
83
+ "all_draws": 0.3106060606060606
84
+ },
85
+ "b4": {
86
+ "rejected": 0.08333333333333333,
87
+ "all_draws": 0.5404040404040403
88
+ },
89
+ "b16": {
90
+ "rejected": 0.1111111111111111,
91
+ "all_draws": 0.75
92
+ }
93
+ }
94
+ }
results/icml_r3/X26/diag_m5.json ADDED
@@ -0,0 +1,94 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "m": 5,
3
+ "n_plants": 120,
4
+ "a_ref_certified": 1.0,
5
+ "a_bank_certified": 1.0,
6
+ "a_rate_b1_4_16": [
7
+ 0.19722222222222222,
8
+ 0.40555555555555556,
9
+ 0.6083333333333333
10
+ ],
11
+ "b_ref": {
12
+ "n": 120,
13
+ "0.001": 0.73125,
14
+ "0.003": 0.7,
15
+ "0.01": 0.69375,
16
+ "0.03": 0.6395833333333333,
17
+ "0.1": 0.56875
18
+ },
19
+ "b_gen": {
20
+ "n": 72,
21
+ "0.001": 1.0,
22
+ "0.003": 1.0,
23
+ "0.01": 0.9930555555555556,
24
+ "0.03": 0.96875,
25
+ "0.1": 0.8298611111111112
26
+ },
27
+ "c_bins": [
28
+ {
29
+ "dist": "0-0.02",
30
+ "n": 0,
31
+ "certified": null,
32
+ "fail_nominally_unstable": null
33
+ },
34
+ {
35
+ "dist": "0.02-0.05",
36
+ "n": 0,
37
+ "certified": null,
38
+ "fail_nominally_unstable": null
39
+ },
40
+ {
41
+ "dist": "0.05-0.1",
42
+ "n": 0,
43
+ "certified": null,
44
+ "fail_nominally_unstable": null
45
+ },
46
+ {
47
+ "dist": "0.1-0.2",
48
+ "n": 0,
49
+ "certified": null,
50
+ "fail_nominally_unstable": null
51
+ },
52
+ {
53
+ "dist": "0.2-0.5",
54
+ "n": 2516,
55
+ "certified": 0.26232114467408585,
56
+ "fail_nominally_unstable": 0.8162715517241379
57
+ },
58
+ {
59
+ "dist": "0.5-inf",
60
+ "n": 3244,
61
+ "certified": 0.17570900123304561,
62
+ "fail_nominally_unstable": 0.8821989528795812
63
+ }
64
+ ],
65
+ "c_fail_nominally_unstable": 0.8551876379690949,
66
+ "c_median_dist": 0.5197286925207573,
67
+ "d_minmax_over_q01_99": [
68
+ 2.974939144917582,
69
+ 4.40375597579702
70
+ ],
71
+ "d_absK_q50_90_99_max": [
72
+ 2.252871712787136,
73
+ 11.682965174064874,
74
+ 23.29579012656605,
75
+ 63.09827333988502
76
+ ],
77
+ "e": {
78
+ "n_kept": 120,
79
+ "n_rejected": 19,
80
+ "oracle48_share_of_draws": 0.8633093525179856,
81
+ "b1": {
82
+ "rejected": 0.07017543859649122,
83
+ "all_draws": 0.17985611510791366
84
+ },
85
+ "b4": {
86
+ "rejected": 0.07017543859649122,
87
+ "all_draws": 0.3597122302158273
88
+ },
89
+ "b16": {
90
+ "rejected": 0.14035087719298245,
91
+ "all_draws": 0.5443645083932854
92
+ }
93
+ }
94
+ }
results/icml_r3/X27/cand64_d3fm3n8000_diff_s0.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e492da34fb9315a8c88ab1e8e9afc5dc0c7b8ca412b1e37acd2f54c037dc9884
3
+ size 553768
results/icml_r3/X27/cand64_d3fm3n8000_diff_s1.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5b1aa69f3e97633ea6de08401d8f3fb0d2bd5dfc56a485b04c3130b3beb73b7d
3
+ size 553768
results/icml_r3/X27/cand64_d3fm3n8000_diff_s2.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:381248112452523f7e7009cc6741471400e7a9f0226f194cb79422881d296711
3
+ size 553768
results/icml_r3/X27/cand64_d3fm3n8000_reg_s0.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3f6021c7876253fc0f399e16a637e166a514222cb6a18bb91c0e7cd5c5b90ff7
3
+ size 1107268
results/icml_r3/X27/cand64_d3fm3n8000_reg_s1.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5d9d6289499a1a6eeb8279a54508ccd1cf106fe852ed614e648f4dbc8a5be502
3
+ size 1107268
results/icml_r3/X27/cand64_d3fm3n8000_reg_s2.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e2b1004a3c76ad8ccfd8c25b0d7ca299431ee9268827b9154e6cf539217664e9
3
+ size 1107268
results/icml_r3/X27/cand64_d3fm4n8000_diff_s0.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a808b656a4af4abca8e37aef9f0783a68589a775e11c9df60397654fda866cb1
3
+ size 983848
results/icml_r3/X27/cand64_d3fm4n8000_diff_s1.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2335261ba26dcf571daf34b2a084895b107441e72b2caf7d78188743331a19e5
3
+ size 983848
results/icml_r3/X27/cand64_d3fm4n8000_diff_s2.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:eb6d4667cc1982a382e390a2c8e0b6e3954f2daceb0f9c45db7c4e36c345efd2
3
+ size 983848
results/icml_r3/X27/cand64_d3fm4n8000_reg_s0.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:11d53504eba08589b02eb61741e7b82f4a7ea87bd479509f36c233cacb0570cf
3
+ size 1967428
results/icml_r3/X27/cand64_d3fm4n8000_reg_s1.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c7bfc3867b050737ff37f7c4daf540cfb41de680c6d1c50fed751ccecd069af5
3
+ size 1967428
results/icml_r3/X27/cand64_d3fm4n8000_reg_s2.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:11664096563247dfaa8c10453ec38d0cf0979bd53c178ee89c63b4108a915d09
3
+ size 1967428
results/icml_r3/X27/cand64_d3fm5n8000_diff_s0.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:46306df7c001b61ae7920d45cf6de125a4c77a0169bdb4424751fc9f9c5bc42c
3
+ size 1536808
results/icml_r3/X27/cand64_d3fm5n8000_diff_s1.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:57ec28b02028071f30833eb946ac469c314df55b618434f351e424514dec375e
3
+ size 1536808
results/icml_r3/X27/cand64_d3fm5n8000_diff_s2.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:88ad11c3dca81a53c9815d7caf777b7d41d741097035b4bc609aff78b3b34f90
3
+ size 1536808
results/icml_r3/X27/cand64_d3fm5n8000_reg_s0.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d226213900fd501081d9746918eb001c8aa6ddd68228dc6bdad7f4b102f4b580
3
+ size 3073348
results/icml_r3/X27/cand64_d3fm5n8000_reg_s1.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:274c8259962bba35ee25a2a5f6819713fc52a13c091e06b237858d28deca652f
3
+ size 3073348
results/icml_r3/X27/cand64_d3fm5n8000_reg_s2.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:0d8532cddb99f7e34f5314d6b3802d103f9302e6a249b2b66f32b9e996fbe67b
3
+ size 3073348
results/icml_r3/X27/oracle_movehpc_m3.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:895953bbf996b3b24b40907bbe5ca7a11378dd1b901e6843e96c58f48e0f22ba
3
+ size 285030
results/icml_r3/X27/oracle_movehpc_m4.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2af8635291eac2a45d5bdcaa25d7982e4f2661df97337caca52d22e82f755a9e
3
+ size 285030
results/icml_r3/X27/oracle_movehpc_m5.npz ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:00da987fcf38301a42940d987fa56ddf6ad785210b8fd2e4281eecba05a795ec
3
+ size 285030
results/icml_r3/X27/x27_d3fm3n8000.json ADDED
@@ -0,0 +1,276 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "m": 3,
3
+ "tag": "d3fm3n8000",
4
+ "bank": 8000,
5
+ "n_plants": 120,
6
+ "diff": {
7
+ "raw_b1": {
8
+ "rate": 0.5166666666666666,
9
+ "cpu_ms": 9.228837180555566,
10
+ "cpu_all_ms": 9.228837180555566,
11
+ "regret_median": 0.035166553853986704,
12
+ "rate_per_seed": [
13
+ 0.5666666666666667,
14
+ 0.5083333333333333,
15
+ 0.475
16
+ ]
17
+ },
18
+ "raw_b4": {
19
+ "rate": 0.7611111111111111,
20
+ "cpu_ms": 18.808993816666725,
21
+ "cpu_all_ms": 33.74413965833336,
22
+ "regret_median": 0.026566873792452816,
23
+ "rate_per_seed": [
24
+ 0.7916666666666666,
25
+ 0.7666666666666667,
26
+ 0.725
27
+ ]
28
+ },
29
+ "raw_b16": {
30
+ "rate": 0.9444444444444443,
31
+ "cpu_ms": 33.58361779166666,
32
+ "cpu_all_ms": 132.2461112277777,
33
+ "regret_median": 0.017749766148115964,
34
+ "rate_per_seed": [
35
+ 0.9583333333333334,
36
+ 0.95,
37
+ 0.925
38
+ ]
39
+ },
40
+ "filt_b1": {
41
+ "rate": 0.6861111111111112,
42
+ "cpu_ms": 31.73338786388888,
43
+ "cpu_all_ms": 31.73338786388888,
44
+ "regret_median": 0.03864968435767513,
45
+ "rate_per_seed": [
46
+ 0.725,
47
+ 0.75,
48
+ 0.5833333333333334
49
+ ]
50
+ },
51
+ "filt_b4": {
52
+ "rate": 0.9277777777777777,
53
+ "cpu_ms": 36.267418308333326,
54
+ "cpu_all_ms": 55.53707523055552,
55
+ "regret_median": 0.024622161334723724,
56
+ "rate_per_seed": [
57
+ 0.9333333333333333,
58
+ 0.925,
59
+ 0.925
60
+ ]
61
+ },
62
+ "filt_b16": {
63
+ "rate": 0.9861111111111112,
64
+ "cpu_ms": 38.36020668888889,
65
+ "cpu_all_ms": 147.08002555277776,
66
+ "regret_median": 0.014977849993612624,
67
+ "rate_per_seed": [
68
+ 0.9833333333333333,
69
+ 1.0,
70
+ 0.975
71
+ ]
72
+ },
73
+ "survivors_of_64_median": 49.0
74
+ },
75
+ "twin": {
76
+ "raw_b1": {
77
+ "rate": 0.4916666666666667,
78
+ "cpu_ms": 8.080207638888979,
79
+ "cpu_all_ms": 8.080207638888979,
80
+ "regret_median": 0.034868968961000446,
81
+ "rate_per_seed": [
82
+ 0.475,
83
+ 0.5,
84
+ 0.5
85
+ ]
86
+ },
87
+ "raw_b4": {
88
+ "rate": 0.6222222222222222,
89
+ "cpu_ms": 18.761038030555742,
90
+ "cpu_all_ms": 31.888074133333486,
91
+ "regret_median": 0.031090565068918607,
92
+ "rate_per_seed": [
93
+ 0.6333333333333333,
94
+ 0.6333333333333333,
95
+ 0.6
96
+ ]
97
+ },
98
+ "raw_b16": {
99
+ "rate": 0.6888888888888888,
100
+ "cpu_ms": 50.6037556027781,
101
+ "cpu_all_ms": 127.67698171388953,
102
+ "regret_median": 0.024827462390698996,
103
+ "rate_per_seed": [
104
+ 0.725,
105
+ 0.6583333333333333,
106
+ 0.6833333333333333
107
+ ]
108
+ },
109
+ "filt_b1": {
110
+ "rate": 0.5722222222222222,
111
+ "cpu_ms": 14.480802644444404,
112
+ "cpu_all_ms": 14.480802644444404,
113
+ "regret_median": 0.035172887226527116,
114
+ "rate_per_seed": [
115
+ 0.5583333333333333,
116
+ 0.5833333333333334,
117
+ 0.575
118
+ ]
119
+ },
120
+ "filt_b4": {
121
+ "rate": 0.6805555555555557,
122
+ "cpu_ms": 19.039254283333236,
123
+ "cpu_all_ms": 33.8107494277777,
124
+ "regret_median": 0.03138655281275926,
125
+ "rate_per_seed": [
126
+ 0.7,
127
+ 0.6416666666666667,
128
+ 0.7
129
+ ]
130
+ },
131
+ "filt_b16": {
132
+ "rate": 0.7305555555555555,
133
+ "cpu_ms": 25.902077774999878,
134
+ "cpu_all_ms": 105.85924662777768,
135
+ "regret_median": 0.02495787433019081,
136
+ "rate_per_seed": [
137
+ 0.75,
138
+ 0.7,
139
+ 0.7416666666666667
140
+ ]
141
+ },
142
+ "survivors_of_64_median": 56.0
143
+ },
144
+ "knn": {
145
+ "raw_b1": {
146
+ "rate": 0.25833333333333336,
147
+ "cpu_ms": 8.20402669999985,
148
+ "cpu_all_ms": 8.20402669999985,
149
+ "regret_median": 0.11371326220225075,
150
+ "rate_per_seed": [
151
+ 0.25833333333333336
152
+ ]
153
+ },
154
+ "raw_b4": {
155
+ "rate": 0.44166666666666665,
156
+ "cpu_ms": 24.146250074999852,
157
+ "cpu_all_ms": 32.000717416666426,
158
+ "regret_median": 0.09416819337804627,
159
+ "rate_per_seed": [
160
+ 0.44166666666666665
161
+ ]
162
+ },
163
+ "raw_b16": {
164
+ "rate": 0.7083333333333334,
165
+ "cpu_ms": 60.34920140833278,
166
+ "cpu_all_ms": 126.72478914166554,
167
+ "regret_median": 0.08590952578105893,
168
+ "rate_per_seed": [
169
+ 0.7083333333333334
170
+ ]
171
+ },
172
+ "filt_b1": {
173
+ "rate": 0.5083333333333333,
174
+ "cpu_ms": 13.20785140000013,
175
+ "cpu_all_ms": 13.20785140000013,
176
+ "regret_median": 0.134908830251387,
177
+ "rate_per_seed": [
178
+ 0.5083333333333333
179
+ ]
180
+ },
181
+ "filt_b4": {
182
+ "rate": 0.7833333333333333,
183
+ "cpu_ms": 20.13505849166674,
184
+ "cpu_all_ms": 34.59429744166706,
185
+ "regret_median": 0.10139965849798827,
186
+ "rate_per_seed": [
187
+ 0.7833333333333333
188
+ ]
189
+ },
190
+ "filt_b16": {
191
+ "rate": 0.8666666666666667,
192
+ "cpu_ms": 22.861900733333407,
193
+ "cpu_all_ms": 97.72997690000021,
194
+ "regret_median": 0.07096639087530376,
195
+ "rate_per_seed": [
196
+ 0.8666666666666667
197
+ ]
198
+ },
199
+ "survivors_of_64_median": 15.5
200
+ },
201
+ "diff_filt_b16_refine_n3": {
202
+ "rate": 0.9944444444444445,
203
+ "cpu_ms": 41.91767724999999,
204
+ "regret_median": 0.015012072869242443,
205
+ "rate_per_seed": [
206
+ 0.9916666666666667,
207
+ 1.0,
208
+ 0.9916666666666667
209
+ ]
210
+ },
211
+ "diff_filt_b16_refine_n10": {
212
+ "rate": 0.9972222222222222,
213
+ "cpu_ms": 41.99927216666666,
214
+ "regret_median": 0.015046295744872262,
215
+ "rate_per_seed": [
216
+ 1.0,
217
+ 1.0,
218
+ 0.9916666666666667
219
+ ]
220
+ },
221
+ "knn_filt_b16_refine_n3": {
222
+ "rate": 0.9333333333333333,
223
+ "cpu_ms": 34.596666216666854,
224
+ "regret_median": 0.07228077375089703,
225
+ "rate_per_seed": [
226
+ 0.9333333333333333
227
+ ]
228
+ },
229
+ "knn_filt_b16_refine_n10": {
230
+ "rate": 0.9333333333333333,
231
+ "cpu_ms": 39.4754673750002,
232
+ "regret_median": 0.07337219985527899,
233
+ "rate_per_seed": [
234
+ 0.9333333333333333
235
+ ]
236
+ },
237
+ "solver": {
238
+ "B1": {
239
+ "rate": 0.0,
240
+ "cpu_ms": 13.380603916666807
241
+ },
242
+ "B2": {
243
+ "rate": 0.15,
244
+ "cpu_ms": 118.70670852499977
245
+ },
246
+ "B4": {
247
+ "rate": 0.25,
248
+ "cpu_ms": 277.59574880000076
249
+ },
250
+ "B8": {
251
+ "rate": 0.6916666666666667,
252
+ "cpu_ms": 525.1935891333341
253
+ },
254
+ "B16": {
255
+ "rate": 0.7833333333333333,
256
+ "cpu_ms": 732.419044866667
257
+ },
258
+ "B24": {
259
+ "rate": 0.875,
260
+ "cpu_ms": 875.5705846416668
261
+ },
262
+ "B32": {
263
+ "rate": 0.9166666666666666,
264
+ "cpu_ms": 962.2606678250004
265
+ },
266
+ "B48": {
267
+ "rate": 0.9583333333333334,
268
+ "cpu_ms": 1047.7710641250003
269
+ },
270
+ "full48": {
271
+ "rate": 0.9583333333333334,
272
+ "cpu_ms": 7369.121721616665,
273
+ "regret_median": 2.577320175056741e-07
274
+ }
275
+ }
276
+ }
results/icml_r3/X27/x27_d3fm3n8000_v1.json ADDED
@@ -0,0 +1,260 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "m": 3,
3
+ "tag": "d3fm3n8000",
4
+ "bank": 8000,
5
+ "n_plants": 120,
6
+ "diff": {
7
+ "raw_b1": {
8
+ "rate": 0.5166666666666666,
9
+ "cpu_ms": 9.23259215555558,
10
+ "cpu_all_ms": 9.23259215555558,
11
+ "regret_median": 0.035166553853986704,
12
+ "rate_per_seed": [
13
+ 0.5666666666666667,
14
+ 0.5083333333333333,
15
+ 0.475
16
+ ]
17
+ },
18
+ "raw_b4": {
19
+ "rate": 0.7611111111111111,
20
+ "cpu_ms": 18.86568282500004,
21
+ "cpu_all_ms": 33.8979683083333,
22
+ "regret_median": 0.026566873792452816,
23
+ "rate_per_seed": [
24
+ 0.7916666666666666,
25
+ 0.7666666666666667,
26
+ 0.725
27
+ ]
28
+ },
29
+ "raw_b16": {
30
+ "rate": 0.9444444444444443,
31
+ "cpu_ms": 33.56191742500007,
32
+ "cpu_all_ms": 132.87706257499988,
33
+ "regret_median": 0.017749766148115964,
34
+ "rate_per_seed": [
35
+ 0.9583333333333334,
36
+ 0.95,
37
+ 0.925
38
+ ]
39
+ },
40
+ "filt_b1": {
41
+ "rate": 0.6861111111111112,
42
+ "cpu_ms": 31.888872266666706,
43
+ "cpu_all_ms": 31.888872266666706,
44
+ "regret_median": 0.03864968435767513,
45
+ "rate_per_seed": [
46
+ 0.725,
47
+ 0.75,
48
+ 0.5833333333333334
49
+ ]
50
+ },
51
+ "filt_b4": {
52
+ "rate": 0.9277777777777777,
53
+ "cpu_ms": 36.456577541666725,
54
+ "cpu_all_ms": 55.72291350555566,
55
+ "regret_median": 0.024622161334723724,
56
+ "rate_per_seed": [
57
+ 0.9333333333333333,
58
+ 0.925,
59
+ 0.925
60
+ ]
61
+ },
62
+ "filt_b16": {
63
+ "rate": 0.9861111111111112,
64
+ "cpu_ms": 38.53982081666672,
65
+ "cpu_all_ms": 147.57766511944465,
66
+ "regret_median": 0.014977849993612624,
67
+ "rate_per_seed": [
68
+ 0.9833333333333333,
69
+ 1.0,
70
+ 0.975
71
+ ]
72
+ },
73
+ "survivors_of_64_median": 49.0
74
+ },
75
+ "twin": {
76
+ "raw_b1": {
77
+ "rate": 0.4916666666666667,
78
+ "cpu_ms": 8.193106461111185,
79
+ "cpu_all_ms": 8.193106461111185,
80
+ "regret_median": 0.034868968961000446,
81
+ "rate_per_seed": [
82
+ 0.475,
83
+ 0.5,
84
+ 0.5
85
+ ]
86
+ },
87
+ "raw_b4": {
88
+ "rate": 0.6222222222222222,
89
+ "cpu_ms": 18.986674547222393,
90
+ "cpu_all_ms": 32.19273256111132,
91
+ "regret_median": 0.031090565068918607,
92
+ "rate_per_seed": [
93
+ 0.6333333333333333,
94
+ 0.6333333333333333,
95
+ 0.6
96
+ ]
97
+ },
98
+ "raw_b16": {
99
+ "rate": 0.6888888888888888,
100
+ "cpu_ms": 50.556438430555744,
101
+ "cpu_all_ms": 127.43946473611157,
102
+ "regret_median": 0.024827462390698996,
103
+ "rate_per_seed": [
104
+ 0.725,
105
+ 0.6583333333333333,
106
+ 0.6833333333333333
107
+ ]
108
+ },
109
+ "filt_b1": {
110
+ "rate": 0.5722222222222222,
111
+ "cpu_ms": 14.396950819444458,
112
+ "cpu_all_ms": 14.396950819444458,
113
+ "regret_median": 0.035172887226527116,
114
+ "rate_per_seed": [
115
+ 0.5583333333333333,
116
+ 0.5833333333333334,
117
+ 0.575
118
+ ]
119
+ },
120
+ "filt_b4": {
121
+ "rate": 0.6805555555555557,
122
+ "cpu_ms": 18.927341091666694,
123
+ "cpu_all_ms": 33.57195022777765,
124
+ "regret_median": 0.03138655281275926,
125
+ "rate_per_seed": [
126
+ 0.7,
127
+ 0.6416666666666667,
128
+ 0.7
129
+ ]
130
+ },
131
+ "filt_b16": {
132
+ "rate": 0.7305555555555555,
133
+ "cpu_ms": 25.682950550000076,
134
+ "cpu_all_ms": 105.12892073333325,
135
+ "regret_median": 0.02495787433019081,
136
+ "rate_per_seed": [
137
+ 0.75,
138
+ 0.7,
139
+ 0.7416666666666667
140
+ ]
141
+ },
142
+ "survivors_of_64_median": 56.0
143
+ },
144
+ "knn": {
145
+ "raw_b1": {
146
+ "rate": 0.25833333333333336,
147
+ "cpu_ms": 8.003011466666916,
148
+ "cpu_all_ms": 8.003011466666916,
149
+ "regret_median": 0.11371326220225075,
150
+ "rate_per_seed": [
151
+ 0.25833333333333336
152
+ ]
153
+ },
154
+ "raw_b4": {
155
+ "rate": 0.44166666666666665,
156
+ "cpu_ms": 23.824348658333694,
157
+ "cpu_all_ms": 31.820083375000507,
158
+ "regret_median": 0.09416819337804627,
159
+ "rate_per_seed": [
160
+ 0.44166666666666665
161
+ ]
162
+ },
163
+ "raw_b16": {
164
+ "rate": 0.7083333333333334,
165
+ "cpu_ms": 60.54457495833354,
166
+ "cpu_all_ms": 127.15593319166751,
167
+ "regret_median": 0.08590952578105893,
168
+ "rate_per_seed": [
169
+ 0.7083333333333334
170
+ ]
171
+ },
172
+ "filt_b1": {
173
+ "rate": 0.5083333333333333,
174
+ "cpu_ms": 13.251830949999821,
175
+ "cpu_all_ms": 13.251830949999821,
176
+ "regret_median": 0.134908830251387,
177
+ "rate_per_seed": [
178
+ 0.5083333333333333
179
+ ]
180
+ },
181
+ "filt_b4": {
182
+ "rate": 0.7833333333333333,
183
+ "cpu_ms": 20.378886799999897,
184
+ "cpu_all_ms": 35.06136728333319,
185
+ "regret_median": 0.10139965849798827,
186
+ "rate_per_seed": [
187
+ 0.7833333333333333
188
+ ]
189
+ },
190
+ "filt_b16": {
191
+ "rate": 0.8666666666666667,
192
+ "cpu_ms": 23.114400141666724,
193
+ "cpu_all_ms": 98.09187452500039,
194
+ "regret_median": 0.07096639087530376,
195
+ "rate_per_seed": [
196
+ 0.8666666666666667
197
+ ]
198
+ },
199
+ "survivors_of_64_median": 15.5
200
+ },
201
+ "diff_filt_b16_refine_n3": {
202
+ "rate": 0.9944444444444445,
203
+ "cpu_ms": 41.984203436111166,
204
+ "regret_median": 0.015012072869242443,
205
+ "rate_per_seed": [
206
+ 0.9916666666666667,
207
+ 1.0,
208
+ 0.9916666666666667
209
+ ]
210
+ },
211
+ "diff_filt_b16_refine_n10": {
212
+ "rate": 0.9972222222222222,
213
+ "cpu_ms": 42.09745432500005,
214
+ "regret_median": 0.015046295744872262,
215
+ "rate_per_seed": [
216
+ 1.0,
217
+ 1.0,
218
+ 0.9916666666666667
219
+ ]
220
+ },
221
+ "solver": {
222
+ "B1": {
223
+ "rate": 0.0,
224
+ "cpu_ms": 13.380603916666807
225
+ },
226
+ "B2": {
227
+ "rate": 0.15,
228
+ "cpu_ms": 118.70670852499977
229
+ },
230
+ "B4": {
231
+ "rate": 0.25,
232
+ "cpu_ms": 277.59574880000076
233
+ },
234
+ "B8": {
235
+ "rate": 0.6916666666666667,
236
+ "cpu_ms": 525.1935891333341
237
+ },
238
+ "B16": {
239
+ "rate": 0.7833333333333333,
240
+ "cpu_ms": 732.419044866667
241
+ },
242
+ "B24": {
243
+ "rate": 0.875,
244
+ "cpu_ms": 875.5705846416668
245
+ },
246
+ "B32": {
247
+ "rate": 0.9166666666666666,
248
+ "cpu_ms": 962.2606678250004
249
+ },
250
+ "B48": {
251
+ "rate": 0.9583333333333334,
252
+ "cpu_ms": 1047.7710641250003
253
+ },
254
+ "full48": {
255
+ "rate": 0.9583333333333334,
256
+ "cpu_ms": 7369.121721616665,
257
+ "regret_median": 2.577320175056741e-07
258
+ }
259
+ }
260
+ }
results/icml_r3/X27/x27_d3fm4n8000.json ADDED
@@ -0,0 +1,276 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "m": 4,
3
+ "tag": "d3fm4n8000",
4
+ "bank": 8000,
5
+ "n_plants": 120,
6
+ "diff": {
7
+ "raw_b1": {
8
+ "rate": 0.31666666666666665,
9
+ "cpu_ms": 11.548014572222362,
10
+ "cpu_all_ms": 11.548014572222362,
11
+ "regret_median": 0.04281187301679423,
12
+ "rate_per_seed": [
13
+ 0.30833333333333335,
14
+ 0.325,
15
+ 0.31666666666666665
16
+ ]
17
+ },
18
+ "raw_b4": {
19
+ "rate": 0.5722222222222222,
20
+ "cpu_ms": 29.8871385500001,
21
+ "cpu_all_ms": 43.4100840083334,
22
+ "regret_median": 0.04023679269097036,
23
+ "rate_per_seed": [
24
+ 0.6,
25
+ 0.5666666666666667,
26
+ 0.55
27
+ ]
28
+ },
29
+ "raw_b16": {
30
+ "rate": 0.7888888888888889,
31
+ "cpu_ms": 69.76559427222242,
32
+ "cpu_all_ms": 170.95527524166667,
33
+ "regret_median": 0.03206114493999934,
34
+ "rate_per_seed": [
35
+ 0.8,
36
+ 0.775,
37
+ 0.7916666666666666
38
+ ]
39
+ },
40
+ "filt_b1": {
41
+ "rate": 0.5249999999999999,
42
+ "cpu_ms": 33.684417947222165,
43
+ "cpu_all_ms": 33.684417947222165,
44
+ "regret_median": 0.05256149004484412,
45
+ "rate_per_seed": [
46
+ 0.5083333333333333,
47
+ 0.5333333333333333,
48
+ 0.5333333333333333
49
+ ]
50
+ },
51
+ "filt_b4": {
52
+ "rate": 0.8250000000000001,
53
+ "cpu_ms": 43.43275704999996,
54
+ "cpu_all_ms": 63.55756150833335,
55
+ "regret_median": 0.04154891326937804,
56
+ "rate_per_seed": [
57
+ 0.8166666666666667,
58
+ 0.8166666666666667,
59
+ 0.8416666666666667
60
+ ]
61
+ },
62
+ "filt_b16": {
63
+ "rate": 0.9194444444444444,
64
+ "cpu_ms": 49.09343261666663,
65
+ "cpu_all_ms": 169.24143283333353,
66
+ "regret_median": 0.030428223592535053,
67
+ "rate_per_seed": [
68
+ 0.8916666666666667,
69
+ 0.9166666666666666,
70
+ 0.95
71
+ ]
72
+ },
73
+ "survivors_of_64_median": 31.0
74
+ },
75
+ "twin": {
76
+ "raw_b1": {
77
+ "rate": 0.3138888888888889,
78
+ "cpu_ms": 10.395899205555606,
79
+ "cpu_all_ms": 10.395899205555606,
80
+ "regret_median": 0.05077043279796922,
81
+ "rate_per_seed": [
82
+ 0.31666666666666665,
83
+ 0.275,
84
+ 0.35
85
+ ]
86
+ },
87
+ "raw_b4": {
88
+ "rate": 0.4305555555555555,
89
+ "cpu_ms": 30.12613680833324,
90
+ "cpu_all_ms": 41.14281693055556,
91
+ "regret_median": 0.040770558505952126,
92
+ "rate_per_seed": [
93
+ 0.4083333333333333,
94
+ 0.44166666666666665,
95
+ 0.44166666666666665
96
+ ]
97
+ },
98
+ "raw_b16": {
99
+ "rate": 0.48333333333333334,
100
+ "cpu_ms": 96.17023265833323,
101
+ "cpu_all_ms": 164.41178718055548,
102
+ "regret_median": 0.03419325650322769,
103
+ "rate_per_seed": [
104
+ 0.4583333333333333,
105
+ 0.49166666666666664,
106
+ 0.5
107
+ ]
108
+ },
109
+ "filt_b1": {
110
+ "rate": 0.3666666666666667,
111
+ "cpu_ms": 14.775965883333283,
112
+ "cpu_all_ms": 14.775965883333283,
113
+ "regret_median": 0.0509702614716806,
114
+ "rate_per_seed": [
115
+ 0.38333333333333336,
116
+ 0.31666666666666665,
117
+ 0.4
118
+ ]
119
+ },
120
+ "filt_b4": {
121
+ "rate": 0.4861111111111111,
122
+ "cpu_ms": 22.248186016666594,
123
+ "cpu_all_ms": 35.28875281111103,
124
+ "regret_median": 0.039893127429255326,
125
+ "rate_per_seed": [
126
+ 0.475,
127
+ 0.48333333333333334,
128
+ 0.5
129
+ ]
130
+ },
131
+ "filt_b16": {
132
+ "rate": 0.5222222222222221,
133
+ "cpu_ms": 33.751989363888875,
134
+ "cpu_all_ms": 105.3709935833332,
135
+ "regret_median": 0.03461930665839119,
136
+ "rate_per_seed": [
137
+ 0.5083333333333333,
138
+ 0.525,
139
+ 0.5333333333333333
140
+ ]
141
+ },
142
+ "survivors_of_64_median": 18.0
143
+ },
144
+ "knn": {
145
+ "raw_b1": {
146
+ "rate": 0.14166666666666666,
147
+ "cpu_ms": 10.431283933333368,
148
+ "cpu_all_ms": 10.431283933333368,
149
+ "regret_median": 0.11972585447859752,
150
+ "rate_per_seed": [
151
+ 0.14166666666666666
152
+ ]
153
+ },
154
+ "raw_b4": {
155
+ "rate": 0.39166666666666666,
156
+ "cpu_ms": 34.02643857500027,
157
+ "cpu_all_ms": 41.71098480833359,
158
+ "regret_median": 0.11972585447859752,
159
+ "rate_per_seed": [
160
+ 0.39166666666666666
161
+ ]
162
+ },
163
+ "raw_b16": {
164
+ "rate": 0.5916666666666667,
165
+ "cpu_ms": 96.4894328416673,
166
+ "cpu_all_ms": 165.78214528333334,
167
+ "regret_median": 0.10947876745055107,
168
+ "rate_per_seed": [
169
+ 0.5916666666666667
170
+ ]
171
+ },
172
+ "filt_b1": {
173
+ "rate": 0.45,
174
+ "cpu_ms": 15.478228758333342,
175
+ "cpu_all_ms": 15.478228758333342,
176
+ "regret_median": 0.11863223190950545,
177
+ "rate_per_seed": [
178
+ 0.45
179
+ ]
180
+ },
181
+ "filt_b4": {
182
+ "rate": 0.75,
183
+ "cpu_ms": 25.127050350000186,
184
+ "cpu_all_ms": 41.70964378333324,
185
+ "regret_median": 0.11100685037250602,
186
+ "rate_per_seed": [
187
+ 0.75
188
+ ]
189
+ },
190
+ "filt_b16": {
191
+ "rate": 0.7916666666666666,
192
+ "cpu_ms": 26.94444821666681,
193
+ "cpu_all_ms": 98.14112486666572,
194
+ "regret_median": 0.0926797810653952,
195
+ "rate_per_seed": [
196
+ 0.7916666666666666
197
+ ]
198
+ },
199
+ "survivors_of_64_median": 8.0
200
+ },
201
+ "diff_filt_b16_refine_n3": {
202
+ "rate": 0.9666666666666667,
203
+ "cpu_ms": 66.14616473055555,
204
+ "regret_median": 0.032163477351268455,
205
+ "rate_per_seed": [
206
+ 0.975,
207
+ 0.95,
208
+ 0.975
209
+ ]
210
+ },
211
+ "diff_filt_b16_refine_n10": {
212
+ "rate": 0.9777777777777777,
213
+ "cpu_ms": 74.27274529999995,
214
+ "regret_median": 0.03239370322615842,
215
+ "rate_per_seed": [
216
+ 0.9833333333333333,
217
+ 0.9666666666666667,
218
+ 0.9833333333333333
219
+ ]
220
+ },
221
+ "knn_filt_b16_refine_n3": {
222
+ "rate": 0.9,
223
+ "cpu_ms": 50.66570007500039,
224
+ "regret_median": 0.09150018593164855,
225
+ "rate_per_seed": [
226
+ 0.9
227
+ ]
228
+ },
229
+ "knn_filt_b16_refine_n10": {
230
+ "rate": 0.9333333333333333,
231
+ "cpu_ms": 68.99288831666718,
232
+ "regret_median": 0.09026618689333521,
233
+ "rate_per_seed": [
234
+ 0.9333333333333333
235
+ ]
236
+ },
237
+ "solver": {
238
+ "B1": {
239
+ "rate": 0.0,
240
+ "cpu_ms": 8.323323966666107
241
+ },
242
+ "B2": {
243
+ "rate": 0.025,
244
+ "cpu_ms": 187.03278099166513
245
+ },
246
+ "B4": {
247
+ "rate": 0.1,
248
+ "cpu_ms": 433.4198849916668
249
+ },
250
+ "B8": {
251
+ "rate": 0.5666666666666667,
252
+ "cpu_ms": 900.9221851416676
253
+ },
254
+ "B16": {
255
+ "rate": 0.7583333333333333,
256
+ "cpu_ms": 1306.0164234916685
257
+ },
258
+ "B24": {
259
+ "rate": 0.8333333333333334,
260
+ "cpu_ms": 1549.499676183335
261
+ },
262
+ "B32": {
263
+ "rate": 0.8916666666666667,
264
+ "cpu_ms": 1713.2083085250013
265
+ },
266
+ "B48": {
267
+ "rate": 0.925,
268
+ "cpu_ms": 1903.2053610666692
269
+ },
270
+ "full48": {
271
+ "rate": 0.925,
272
+ "cpu_ms": 10263.337240708332,
273
+ "regret_median": -1.5600282713412739e-06
274
+ }
275
+ }
276
+ }
results/icml_r3/X27/x27_d3fm4n8000_v1.json ADDED
@@ -0,0 +1,260 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "m": 4,
3
+ "tag": "d3fm4n8000",
4
+ "bank": 8000,
5
+ "n_plants": 120,
6
+ "diff": {
7
+ "raw_b1": {
8
+ "rate": 0.31666666666666665,
9
+ "cpu_ms": 11.586700033333273,
10
+ "cpu_all_ms": 11.586700033333273,
11
+ "regret_median": 0.04281187301679423,
12
+ "rate_per_seed": [
13
+ 0.30833333333333335,
14
+ 0.325,
15
+ 0.31666666666666665
16
+ ]
17
+ },
18
+ "raw_b4": {
19
+ "rate": 0.5722222222222222,
20
+ "cpu_ms": 30.04797735833318,
21
+ "cpu_all_ms": 43.501022149999834,
22
+ "regret_median": 0.04023679269097036,
23
+ "rate_per_seed": [
24
+ 0.6,
25
+ 0.5666666666666667,
26
+ 0.55
27
+ ]
28
+ },
29
+ "raw_b16": {
30
+ "rate": 0.7888888888888889,
31
+ "cpu_ms": 70.15737069444431,
32
+ "cpu_all_ms": 171.51599278888855,
33
+ "regret_median": 0.03206114493999934,
34
+ "rate_per_seed": [
35
+ 0.8,
36
+ 0.775,
37
+ 0.7916666666666666
38
+ ]
39
+ },
40
+ "filt_b1": {
41
+ "rate": 0.5249999999999999,
42
+ "cpu_ms": 33.678518438888865,
43
+ "cpu_all_ms": 33.678518438888865,
44
+ "regret_median": 0.05256149004484412,
45
+ "rate_per_seed": [
46
+ 0.5083333333333333,
47
+ 0.5333333333333333,
48
+ 0.5333333333333333
49
+ ]
50
+ },
51
+ "filt_b4": {
52
+ "rate": 0.8250000000000001,
53
+ "cpu_ms": 43.629085774999986,
54
+ "cpu_all_ms": 63.79742864444443,
55
+ "regret_median": 0.04154891326937804,
56
+ "rate_per_seed": [
57
+ 0.8166666666666667,
58
+ 0.8166666666666667,
59
+ 0.8416666666666667
60
+ ]
61
+ },
62
+ "filt_b16": {
63
+ "rate": 0.9194444444444444,
64
+ "cpu_ms": 49.270182411111115,
65
+ "cpu_all_ms": 169.6772665833334,
66
+ "regret_median": 0.030428223592535053,
67
+ "rate_per_seed": [
68
+ 0.8916666666666667,
69
+ 0.9166666666666666,
70
+ 0.95
71
+ ]
72
+ },
73
+ "survivors_of_64_median": 31.0
74
+ },
75
+ "twin": {
76
+ "raw_b1": {
77
+ "rate": 0.3138888888888889,
78
+ "cpu_ms": 10.450901744444343,
79
+ "cpu_all_ms": 10.450901744444343,
80
+ "regret_median": 0.05077043279796922,
81
+ "rate_per_seed": [
82
+ 0.31666666666666665,
83
+ 0.275,
84
+ 0.35
85
+ ]
86
+ },
87
+ "raw_b4": {
88
+ "rate": 0.4305555555555555,
89
+ "cpu_ms": 30.32182732777782,
90
+ "cpu_all_ms": 41.421383424999995,
91
+ "regret_median": 0.040770558505952126,
92
+ "rate_per_seed": [
93
+ 0.4083333333333333,
94
+ 0.44166666666666665,
95
+ 0.44166666666666665
96
+ ]
97
+ },
98
+ "raw_b16": {
99
+ "rate": 0.48333333333333334,
100
+ "cpu_ms": 97.16778588055566,
101
+ "cpu_all_ms": 165.94400726111132,
102
+ "regret_median": 0.03419325650322769,
103
+ "rate_per_seed": [
104
+ 0.4583333333333333,
105
+ 0.49166666666666664,
106
+ 0.5
107
+ ]
108
+ },
109
+ "filt_b1": {
110
+ "rate": 0.3666666666666667,
111
+ "cpu_ms": 14.72231809444464,
112
+ "cpu_all_ms": 14.72231809444464,
113
+ "regret_median": 0.0509702614716806,
114
+ "rate_per_seed": [
115
+ 0.38333333333333336,
116
+ 0.31666666666666665,
117
+ 0.4
118
+ ]
119
+ },
120
+ "filt_b4": {
121
+ "rate": 0.4861111111111111,
122
+ "cpu_ms": 22.318971513889107,
123
+ "cpu_all_ms": 35.4184032944446,
124
+ "regret_median": 0.039893127429255326,
125
+ "rate_per_seed": [
126
+ 0.475,
127
+ 0.48333333333333334,
128
+ 0.5
129
+ ]
130
+ },
131
+ "filt_b16": {
132
+ "rate": 0.5222222222222221,
133
+ "cpu_ms": 33.730227847222494,
134
+ "cpu_all_ms": 105.28322434722259,
135
+ "regret_median": 0.03461930665839119,
136
+ "rate_per_seed": [
137
+ 0.5083333333333333,
138
+ 0.525,
139
+ 0.5333333333333333
140
+ ]
141
+ },
142
+ "survivors_of_64_median": 18.0
143
+ },
144
+ "knn": {
145
+ "raw_b1": {
146
+ "rate": 0.14166666666666666,
147
+ "cpu_ms": 10.888966941666567,
148
+ "cpu_all_ms": 10.888966941666567,
149
+ "regret_median": 0.11972585447859752,
150
+ "rate_per_seed": [
151
+ 0.14166666666666666
152
+ ]
153
+ },
154
+ "raw_b4": {
155
+ "rate": 0.39166666666666666,
156
+ "cpu_ms": 35.08646210000045,
157
+ "cpu_all_ms": 42.61016658333403,
158
+ "regret_median": 0.11972585447859752,
159
+ "rate_per_seed": [
160
+ 0.39166666666666666
161
+ ]
162
+ },
163
+ "raw_b16": {
164
+ "rate": 0.5916666666666667,
165
+ "cpu_ms": 98.35067093333257,
166
+ "cpu_all_ms": 169.09357415833432,
167
+ "regret_median": 0.10947876745055107,
168
+ "rate_per_seed": [
169
+ 0.5916666666666667
170
+ ]
171
+ },
172
+ "filt_b1": {
173
+ "rate": 0.45,
174
+ "cpu_ms": 15.481103550000192,
175
+ "cpu_all_ms": 15.481103550000192,
176
+ "regret_median": 0.11863223190950545,
177
+ "rate_per_seed": [
178
+ 0.45
179
+ ]
180
+ },
181
+ "filt_b4": {
182
+ "rate": 0.75,
183
+ "cpu_ms": 25.320308983333256,
184
+ "cpu_all_ms": 42.179765491666885,
185
+ "regret_median": 0.11100685037250602,
186
+ "rate_per_seed": [
187
+ 0.75
188
+ ]
189
+ },
190
+ "filt_b16": {
191
+ "rate": 0.7916666666666666,
192
+ "cpu_ms": 27.175228350000058,
193
+ "cpu_all_ms": 99.24056430833336,
194
+ "regret_median": 0.0926797810653952,
195
+ "rate_per_seed": [
196
+ 0.7916666666666666
197
+ ]
198
+ },
199
+ "survivors_of_64_median": 8.0
200
+ },
201
+ "diff_filt_b16_refine_n3": {
202
+ "rate": 0.9666666666666667,
203
+ "cpu_ms": 66.3131625944445,
204
+ "regret_median": 0.032163477351268455,
205
+ "rate_per_seed": [
206
+ 0.975,
207
+ 0.95,
208
+ 0.975
209
+ ]
210
+ },
211
+ "diff_filt_b16_refine_n10": {
212
+ "rate": 0.9777777777777777,
213
+ "cpu_ms": 74.41627589722218,
214
+ "regret_median": 0.03239370322615842,
215
+ "rate_per_seed": [
216
+ 0.9833333333333333,
217
+ 0.9666666666666667,
218
+ 0.9833333333333333
219
+ ]
220
+ },
221
+ "solver": {
222
+ "B1": {
223
+ "rate": 0.0,
224
+ "cpu_ms": 8.323323966666107
225
+ },
226
+ "B2": {
227
+ "rate": 0.025,
228
+ "cpu_ms": 187.03278099166513
229
+ },
230
+ "B4": {
231
+ "rate": 0.1,
232
+ "cpu_ms": 433.4198849916668
233
+ },
234
+ "B8": {
235
+ "rate": 0.5666666666666667,
236
+ "cpu_ms": 900.9221851416676
237
+ },
238
+ "B16": {
239
+ "rate": 0.7583333333333333,
240
+ "cpu_ms": 1306.0164234916685
241
+ },
242
+ "B24": {
243
+ "rate": 0.8333333333333334,
244
+ "cpu_ms": 1549.499676183335
245
+ },
246
+ "B32": {
247
+ "rate": 0.8916666666666667,
248
+ "cpu_ms": 1713.2083085250013
249
+ },
250
+ "B48": {
251
+ "rate": 0.925,
252
+ "cpu_ms": 1903.2053610666692
253
+ },
254
+ "full48": {
255
+ "rate": 0.925,
256
+ "cpu_ms": 10263.337240708332,
257
+ "regret_median": -1.5600282713412739e-06
258
+ }
259
+ }
260
+ }
results/icml_r3/X27/x27_d3fm5n8000.json ADDED
@@ -0,0 +1,276 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "m": 5,
3
+ "tag": "d3fm5n8000",
4
+ "bank": 8000,
5
+ "n_plants": 120,
6
+ "diff": {
7
+ "raw_b1": {
8
+ "rate": 0.225,
9
+ "cpu_ms": 17.219494227777734,
10
+ "cpu_all_ms": 17.219494227777734,
11
+ "regret_median": 0.04812947287738045,
12
+ "rate_per_seed": [
13
+ 0.21666666666666667,
14
+ 0.24166666666666667,
15
+ 0.21666666666666667
16
+ ]
17
+ },
18
+ "raw_b4": {
19
+ "rate": 0.4222222222222222,
20
+ "cpu_ms": 51.06578591111097,
21
+ "cpu_all_ms": 65.36916089722212,
22
+ "regret_median": 0.04747371471230277,
23
+ "rate_per_seed": [
24
+ 0.4166666666666667,
25
+ 0.475,
26
+ 0.375
27
+ ]
28
+ },
29
+ "raw_b16": {
30
+ "rate": 0.6055555555555556,
31
+ "cpu_ms": 143.22123988055512,
32
+ "cpu_all_ms": 257.62499931388857,
33
+ "regret_median": 0.04202621372574289,
34
+ "rate_per_seed": [
35
+ 0.6083333333333333,
36
+ 0.6166666666666667,
37
+ 0.5916666666666667
38
+ ]
39
+ },
40
+ "filt_b1": {
41
+ "rate": 0.37777777777777777,
42
+ "cpu_ms": 37.27859533333324,
43
+ "cpu_all_ms": 37.27859533333324,
44
+ "regret_median": 0.056212660154327354,
45
+ "rate_per_seed": [
46
+ 0.36666666666666664,
47
+ 0.425,
48
+ 0.3416666666666667
49
+ ]
50
+ },
51
+ "filt_b4": {
52
+ "rate": 0.6388888888888888,
53
+ "cpu_ms": 51.19600905555541,
54
+ "cpu_all_ms": 73.90255251111103,
55
+ "regret_median": 0.04754331595782779,
56
+ "rate_per_seed": [
57
+ 0.6333333333333333,
58
+ 0.6416666666666667,
59
+ 0.6416666666666667
60
+ ]
61
+ },
62
+ "filt_b16": {
63
+ "rate": 0.7138888888888889,
64
+ "cpu_ms": 56.65571425833317,
65
+ "cpu_all_ms": 188.96398903611112,
66
+ "regret_median": 0.036527815254107754,
67
+ "rate_per_seed": [
68
+ 0.7166666666666667,
69
+ 0.7083333333333334,
70
+ 0.7166666666666667
71
+ ]
72
+ },
73
+ "survivors_of_64_median": 18.0
74
+ },
75
+ "twin": {
76
+ "raw_b1": {
77
+ "rate": 0.14166666666666666,
78
+ "cpu_ms": 15.850525463888905,
79
+ "cpu_all_ms": 15.850525463888905,
80
+ "regret_median": 0.049340859920853575,
81
+ "rate_per_seed": [
82
+ 0.18333333333333332,
83
+ 0.11666666666666667,
84
+ 0.125
85
+ ]
86
+ },
87
+ "raw_b4": {
88
+ "rate": 0.22777777777777777,
89
+ "cpu_ms": 54.83687926111143,
90
+ "cpu_all_ms": 63.24889703333372,
91
+ "regret_median": 0.044426774120220114,
92
+ "rate_per_seed": [
93
+ 0.25,
94
+ 0.20833333333333334,
95
+ 0.225
96
+ ]
97
+ },
98
+ "raw_b16": {
99
+ "rate": 0.28055555555555556,
100
+ "cpu_ms": 195.27826448611196,
101
+ "cpu_all_ms": 251.89908232500093,
102
+ "regret_median": 0.03943678699916431,
103
+ "rate_per_seed": [
104
+ 0.30833333333333335,
105
+ 0.25833333333333336,
106
+ 0.275
107
+ ]
108
+ },
109
+ "filt_b1": {
110
+ "rate": 0.21944444444444444,
111
+ "cpu_ms": 13.472019166666813,
112
+ "cpu_all_ms": 13.472019166666813,
113
+ "regret_median": 0.0488769993194369,
114
+ "rate_per_seed": [
115
+ 0.25,
116
+ 0.18333333333333332,
117
+ 0.225
118
+ ]
119
+ },
120
+ "filt_b4": {
121
+ "rate": 0.31666666666666665,
122
+ "cpu_ms": 21.239183144444368,
123
+ "cpu_all_ms": 32.93052485833338,
124
+ "regret_median": 0.04672455388831431,
125
+ "rate_per_seed": [
126
+ 0.35833333333333334,
127
+ 0.2833333333333333,
128
+ 0.30833333333333335
129
+ ]
130
+ },
131
+ "filt_b16": {
132
+ "rate": 0.33888888888888885,
133
+ "cpu_ms": 30.662575991666802,
134
+ "cpu_all_ms": 93.91587308888917,
135
+ "regret_median": 0.039645435491871606,
136
+ "rate_per_seed": [
137
+ 0.4,
138
+ 0.3,
139
+ 0.31666666666666665
140
+ ]
141
+ },
142
+ "survivors_of_64_median": 0.0
143
+ },
144
+ "knn": {
145
+ "raw_b1": {
146
+ "rate": 0.05,
147
+ "cpu_ms": 15.916639224999862,
148
+ "cpu_all_ms": 15.916639224999862,
149
+ "regret_median": 0.2114120888500065,
150
+ "rate_per_seed": [
151
+ 0.05
152
+ ]
153
+ },
154
+ "raw_b4": {
155
+ "rate": 0.18333333333333332,
156
+ "cpu_ms": 58.530734791666816,
157
+ "cpu_all_ms": 63.331971016667055,
158
+ "regret_median": 0.16491319406291816,
159
+ "rate_per_seed": [
160
+ 0.18333333333333332
161
+ ]
162
+ },
163
+ "raw_b16": {
164
+ "rate": 0.48333333333333334,
165
+ "cpu_ms": 181.91947264166757,
166
+ "cpu_all_ms": 252.62810054166835,
167
+ "regret_median": 0.1328235353768139,
168
+ "rate_per_seed": [
169
+ 0.48333333333333334
170
+ ]
171
+ },
172
+ "filt_b1": {
173
+ "rate": 0.3,
174
+ "cpu_ms": 20.317874408333125,
175
+ "cpu_all_ms": 20.317874408333125,
176
+ "regret_median": 0.17589757346523804,
177
+ "rate_per_seed": [
178
+ 0.3
179
+ ]
180
+ },
181
+ "filt_b4": {
182
+ "rate": 0.6083333333333333,
183
+ "cpu_ms": 36.21669081666633,
184
+ "cpu_all_ms": 57.088278308332605,
185
+ "regret_median": 0.12561985849137303,
186
+ "rate_per_seed": [
187
+ 0.6083333333333333
188
+ ]
189
+ },
190
+ "filt_b16": {
191
+ "rate": 0.6666666666666666,
192
+ "cpu_ms": 39.27922423333303,
193
+ "cpu_all_ms": 116.32602437499878,
194
+ "regret_median": 0.10698207119944592,
195
+ "rate_per_seed": [
196
+ 0.6666666666666666
197
+ ]
198
+ },
199
+ "survivors_of_64_median": 5.5
200
+ },
201
+ "diff_filt_b16_refine_n3": {
202
+ "rate": 0.8444444444444444,
203
+ "cpu_ms": 96.80194668055539,
204
+ "regret_median": 0.03932791102126676,
205
+ "rate_per_seed": [
206
+ 0.8333333333333334,
207
+ 0.8583333333333333,
208
+ 0.8416666666666667
209
+ ]
210
+ },
211
+ "diff_filt_b16_refine_n10": {
212
+ "rate": 0.8805555555555555,
213
+ "cpu_ms": 117.6554476527776,
214
+ "regret_median": 0.03996921582262125,
215
+ "rate_per_seed": [
216
+ 0.875,
217
+ 0.9083333333333333,
218
+ 0.8583333333333333
219
+ ]
220
+ },
221
+ "knn_filt_b16_refine_n3": {
222
+ "rate": 0.8333333333333334,
223
+ "cpu_ms": 84.13635136666629,
224
+ "regret_median": 0.10507071235892229,
225
+ "rate_per_seed": [
226
+ 0.8333333333333334
227
+ ]
228
+ },
229
+ "knn_filt_b16_refine_n10": {
230
+ "rate": 0.875,
231
+ "cpu_ms": 109.40741524999952,
232
+ "regret_median": 0.10239260000391304,
233
+ "rate_per_seed": [
234
+ 0.875
235
+ ]
236
+ },
237
+ "solver": {
238
+ "B1": {
239
+ "rate": 0.0,
240
+ "cpu_ms": 10.574282958333825
241
+ },
242
+ "B2": {
243
+ "rate": 0.008333333333333333,
244
+ "cpu_ms": 298.32035174999976
245
+ },
246
+ "B4": {
247
+ "rate": 0.06666666666666667,
248
+ "cpu_ms": 625.6206253499994
249
+ },
250
+ "B8": {
251
+ "rate": 0.525,
252
+ "cpu_ms": 1383.0937939666667
253
+ },
254
+ "B16": {
255
+ "rate": 0.7,
256
+ "cpu_ms": 2103.1017457583325
257
+ },
258
+ "B24": {
259
+ "rate": 0.7916666666666666,
260
+ "cpu_ms": 2562.472846516668
261
+ },
262
+ "B32": {
263
+ "rate": 0.8583333333333333,
264
+ "cpu_ms": 2877.0610893666667
265
+ },
266
+ "B48": {
267
+ "rate": 0.9166666666666666,
268
+ "cpu_ms": 3281.3352657333344
269
+ },
270
+ "full48": {
271
+ "rate": 0.9166666666666666,
272
+ "cpu_ms": 14626.233624516659,
273
+ "regret_median": 1.2563103702900591e-05
274
+ }
275
+ }
276
+ }
results/icml_r3/X27/x27_d3fm5n8000_v1.json ADDED
@@ -0,0 +1,260 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "m": 5,
3
+ "tag": "d3fm5n8000",
4
+ "bank": 8000,
5
+ "n_plants": 120,
6
+ "diff": {
7
+ "raw_b1": {
8
+ "rate": 0.225,
9
+ "cpu_ms": 17.142409536111106,
10
+ "cpu_all_ms": 17.142409536111106,
11
+ "regret_median": 0.04812947287738045,
12
+ "rate_per_seed": [
13
+ 0.21666666666666667,
14
+ 0.24166666666666667,
15
+ 0.21666666666666667
16
+ ]
17
+ },
18
+ "raw_b4": {
19
+ "rate": 0.4222222222222222,
20
+ "cpu_ms": 50.81777615277781,
21
+ "cpu_all_ms": 65.04885987777776,
22
+ "regret_median": 0.04747371471230277,
23
+ "rate_per_seed": [
24
+ 0.4166666666666667,
25
+ 0.475,
26
+ 0.375
27
+ ]
28
+ },
29
+ "raw_b16": {
30
+ "rate": 0.6055555555555556,
31
+ "cpu_ms": 142.4544671805555,
32
+ "cpu_all_ms": 256.37278722499985,
33
+ "regret_median": 0.04202621372574289,
34
+ "rate_per_seed": [
35
+ 0.6083333333333333,
36
+ 0.6166666666666667,
37
+ 0.5916666666666667
38
+ ]
39
+ },
40
+ "filt_b1": {
41
+ "rate": 0.37777777777777777,
42
+ "cpu_ms": 37.17718850833324,
43
+ "cpu_all_ms": 37.17718850833324,
44
+ "regret_median": 0.056212660154327354,
45
+ "rate_per_seed": [
46
+ 0.36666666666666664,
47
+ 0.425,
48
+ 0.3416666666666667
49
+ ]
50
+ },
51
+ "filt_b4": {
52
+ "rate": 0.6388888888888888,
53
+ "cpu_ms": 51.09656909722221,
54
+ "cpu_all_ms": 73.79557034166669,
55
+ "regret_median": 0.04754331595782779,
56
+ "rate_per_seed": [
57
+ 0.6333333333333333,
58
+ 0.6416666666666667,
59
+ 0.6416666666666667
60
+ ]
61
+ },
62
+ "filt_b16": {
63
+ "rate": 0.7138888888888889,
64
+ "cpu_ms": 56.51249274444444,
65
+ "cpu_all_ms": 188.5055505611111,
66
+ "regret_median": 0.036527815254107754,
67
+ "rate_per_seed": [
68
+ 0.7166666666666667,
69
+ 0.7083333333333334,
70
+ 0.7166666666666667
71
+ ]
72
+ },
73
+ "survivors_of_64_median": 18.0
74
+ },
75
+ "twin": {
76
+ "raw_b1": {
77
+ "rate": 0.14166666666666666,
78
+ "cpu_ms": 15.743799836110936,
79
+ "cpu_all_ms": 15.743799836110936,
80
+ "regret_median": 0.049340859920853575,
81
+ "rate_per_seed": [
82
+ 0.18333333333333332,
83
+ 0.11666666666666667,
84
+ 0.125
85
+ ]
86
+ },
87
+ "raw_b4": {
88
+ "rate": 0.22777777777777777,
89
+ "cpu_ms": 54.41763318888874,
90
+ "cpu_all_ms": 62.823511055555365,
91
+ "regret_median": 0.044426774120220114,
92
+ "rate_per_seed": [
93
+ 0.25,
94
+ 0.20833333333333334,
95
+ 0.225
96
+ ]
97
+ },
98
+ "raw_b16": {
99
+ "rate": 0.28055555555555556,
100
+ "cpu_ms": 194.11570407777694,
101
+ "cpu_all_ms": 250.87803093333244,
102
+ "regret_median": 0.03943678699916431,
103
+ "rate_per_seed": [
104
+ 0.30833333333333335,
105
+ 0.25833333333333336,
106
+ 0.275
107
+ ]
108
+ },
109
+ "filt_b1": {
110
+ "rate": 0.21944444444444444,
111
+ "cpu_ms": 13.502974530555512,
112
+ "cpu_all_ms": 13.502974530555512,
113
+ "regret_median": 0.0488769993194369,
114
+ "rate_per_seed": [
115
+ 0.25,
116
+ 0.18333333333333332,
117
+ 0.225
118
+ ]
119
+ },
120
+ "filt_b4": {
121
+ "rate": 0.31666666666666665,
122
+ "cpu_ms": 21.23440396111112,
123
+ "cpu_all_ms": 32.99498071388909,
124
+ "regret_median": 0.04672455388831431,
125
+ "rate_per_seed": [
126
+ 0.35833333333333334,
127
+ 0.2833333333333333,
128
+ 0.30833333333333335
129
+ ]
130
+ },
131
+ "filt_b16": {
132
+ "rate": 0.33888888888888885,
133
+ "cpu_ms": 30.711799575000114,
134
+ "cpu_all_ms": 94.07253261388934,
135
+ "regret_median": 0.039645435491871606,
136
+ "rate_per_seed": [
137
+ 0.4,
138
+ 0.3,
139
+ 0.31666666666666665
140
+ ]
141
+ },
142
+ "survivors_of_64_median": 0.0
143
+ },
144
+ "knn": {
145
+ "raw_b1": {
146
+ "rate": 0.05,
147
+ "cpu_ms": 15.684118758333199,
148
+ "cpu_all_ms": 15.684118758333199,
149
+ "regret_median": 0.2114120888500065,
150
+ "rate_per_seed": [
151
+ 0.05
152
+ ]
153
+ },
154
+ "raw_b4": {
155
+ "rate": 0.18333333333333332,
156
+ "cpu_ms": 58.19167544166669,
157
+ "cpu_all_ms": 62.79462730000003,
158
+ "regret_median": 0.16491319406291816,
159
+ "rate_per_seed": [
160
+ 0.18333333333333332
161
+ ]
162
+ },
163
+ "raw_b16": {
164
+ "rate": 0.48333333333333334,
165
+ "cpu_ms": 181.61315555833343,
166
+ "cpu_all_ms": 252.017097066668,
167
+ "regret_median": 0.1328235353768139,
168
+ "rate_per_seed": [
169
+ 0.48333333333333334
170
+ ]
171
+ },
172
+ "filt_b1": {
173
+ "rate": 0.3,
174
+ "cpu_ms": 20.35752352499915,
175
+ "cpu_all_ms": 20.35752352499915,
176
+ "regret_median": 0.17589757346523804,
177
+ "rate_per_seed": [
178
+ 0.3
179
+ ]
180
+ },
181
+ "filt_b4": {
182
+ "rate": 0.6083333333333333,
183
+ "cpu_ms": 36.47335930833252,
184
+ "cpu_all_ms": 57.18963255833251,
185
+ "regret_median": 0.12561985849137303,
186
+ "rate_per_seed": [
187
+ 0.6083333333333333
188
+ ]
189
+ },
190
+ "filt_b16": {
191
+ "rate": 0.6666666666666666,
192
+ "cpu_ms": 39.52104240833266,
193
+ "cpu_all_ms": 116.36429752499969,
194
+ "regret_median": 0.10698207119944592,
195
+ "rate_per_seed": [
196
+ 0.6666666666666666
197
+ ]
198
+ },
199
+ "survivors_of_64_median": 5.5
200
+ },
201
+ "diff_filt_b16_refine_n3": {
202
+ "rate": 0.8444444444444444,
203
+ "cpu_ms": 96.49613654722229,
204
+ "regret_median": 0.03932791102126676,
205
+ "rate_per_seed": [
206
+ 0.8333333333333334,
207
+ 0.8583333333333333,
208
+ 0.8416666666666667
209
+ ]
210
+ },
211
+ "diff_filt_b16_refine_n10": {
212
+ "rate": 0.8805555555555555,
213
+ "cpu_ms": 117.1286130055555,
214
+ "regret_median": 0.03996921582262125,
215
+ "rate_per_seed": [
216
+ 0.875,
217
+ 0.9083333333333333,
218
+ 0.8583333333333333
219
+ ]
220
+ },
221
+ "solver": {
222
+ "B1": {
223
+ "rate": 0.0,
224
+ "cpu_ms": 10.574282958333825
225
+ },
226
+ "B2": {
227
+ "rate": 0.008333333333333333,
228
+ "cpu_ms": 298.32035174999976
229
+ },
230
+ "B4": {
231
+ "rate": 0.06666666666666667,
232
+ "cpu_ms": 625.6206253499994
233
+ },
234
+ "B8": {
235
+ "rate": 0.525,
236
+ "cpu_ms": 1383.0937939666667
237
+ },
238
+ "B16": {
239
+ "rate": 0.7,
240
+ "cpu_ms": 2103.1017457583325
241
+ },
242
+ "B24": {
243
+ "rate": 0.7916666666666666,
244
+ "cpu_ms": 2562.472846516668
245
+ },
246
+ "B32": {
247
+ "rate": 0.8583333333333333,
248
+ "cpu_ms": 2877.0610893666667
249
+ },
250
+ "B48": {
251
+ "rate": 0.9166666666666666,
252
+ "cpu_ms": 3281.3352657333344
253
+ },
254
+ "full48": {
255
+ "rate": 0.9166666666666666,
256
+ "cpu_ms": 14626.233624516659,
257
+ "regret_median": 1.2563103702900591e-05
258
+ }
259
+ }
260
+ }