voxOCR / evaluation.json
inviolus's picture
voxOCR v2: tiny int8 person detector for drone search and rescue
15d4ff8 verified
Raw History Blame Contribute Delete
19.2 kB
{
"params": 136547,
"val/float": {
"people": 317,
"tiles": 5425,
"by_threshold": {
"0.1": {
"recall": 0.917981072555205,
"precision": 0.03612214498510427,
"f1": 0.06950913651021139,
"false_alarms_per_tile": 1.431336405529954
},
"0.15": {
"recall": 0.8990536277602523,
"precision": 0.06489071038251366,
"f1": 0.12104480781482269,
"false_alarms_per_tile": 0.7570506912442396
},
"0.2": {
"recall": 0.8675078864353313,
"precision": 0.09828448892065761,
"f1": 0.17656500802568217,
"false_alarms_per_tile": 0.46506912442396314
},
"0.25": {
"recall": 0.8517350157728707,
"precision": 0.14180672268907563,
"f1": 0.24313372354795137,
"false_alarms_per_tile": 0.30119815668202765
},
"0.3": {
"recall": 0.8391167192429022,
"precision": 0.19013581129378126,
"f1": 0.31002331002330996,
"false_alarms_per_tile": 0.2088479262672811
},
"0.35": {
"recall": 0.7981072555205048,
"precision": 0.2451550387596899,
"f1": 0.37509266123054114,
"false_alarms_per_tile": 0.14359447004608294
},
"0.4": {
"recall": 0.7444794952681388,
"precision": 0.29987293519695046,
"f1": 0.427536231884058,
"false_alarms_per_tile": 0.1015668202764977
},
"0.45": {
"recall": 0.6750788643533123,
"precision": 0.3683304647160069,
"f1": 0.4766146993318486,
"false_alarms_per_tile": 0.06764976958525346
},
"0.5": {
"recall": 0.61198738170347,
"precision": 0.42358078602620086,
"f1": 0.5006451612903225,
"false_alarms_per_tile": 0.04866359447004608
},
"0.55": {
"recall": 0.5488958990536278,
"precision": 0.49714285714285716,
"f1": 0.5217391304347826,
"false_alarms_per_tile": 0.032442396313364055
},
"0.6": {
"recall": 0.42902208201892744,
"precision": 0.5714285714285714,
"f1": 0.4900900900900901,
"false_alarms_per_tile": 0.018801843317972352
},
"0.65": {
"recall": 0.29337539432176657,
"precision": 0.6038961038961039,
"f1": 0.3949044585987262,
"false_alarms_per_tile": 0.011244239631336406
},
"0.7": {
"recall": 0.19558359621451105,
"precision": 0.6138613861386139,
"f1": 0.2966507177033493,
"false_alarms_per_tile": 0.007188940092165899
},
"0.75": {
"recall": 0.10725552050473186,
"precision": 0.5964912280701754,
"f1": 0.1818181818181818,
"false_alarms_per_tile": 0.00423963133640553
}
},
"best_f1": {
"threshold": 0.55,
"recall": 0.5488958990536278,
"precision": 0.49714285714285716,
"f1": 0.5217391304347826,
"false_alarms_per_tile": 0.032442396313364055
},
"recall_90": {
"threshold": 0.1,
"recall": 0.917981072555205,
"precision": 0.03612214498510427,
"f1": 0.06950913651021139,
"false_alarms_per_tile": 1.431336405529954
}
},
"val/int8_ptq": {
"people": 317,
"tiles": 5425,
"by_threshold": {
"0.1": {
"recall": 0.9274447949526814,
"precision": 0.030206513921709647,
"f1": 0.05850746268656716,
"false_alarms_per_tile": 1.7399078341013825
},
"0.15": {
"recall": 0.9053627760252366,
"precision": 0.05781627719580983,
"f1": 0.10869153569399735,
"false_alarms_per_tile": 0.8621198156682027
},
"0.2": {
"recall": 0.886435331230284,
"precision": 0.09096795079313694,
"f1": 0.1650029359953024,
"false_alarms_per_tile": 0.5176036866359447
},
"0.25": {
"recall": 0.8643533123028391,
"precision": 0.1287593984962406,
"f1": 0.22413087934560325,
"false_alarms_per_tile": 0.34175115207373274
},
"0.3": {
"recall": 0.832807570977918,
"precision": 0.18144329896907216,
"f1": 0.29796839729119645,
"false_alarms_per_tile": 0.21953917050691243
},
"0.35": {
"recall": 0.8012618296529969,
"precision": 0.23827392120075047,
"f1": 0.36731742588575567,
"false_alarms_per_tile": 0.14967741935483872
},
"0.4": {
"recall": 0.7413249211356467,
"precision": 0.28519417475728154,
"f1": 0.41191936897458375,
"false_alarms_per_tile": 0.10857142857142857
},
"0.45": {
"recall": 0.6908517350157729,
"precision": 0.35152487961476725,
"f1": 0.46595744680851064,
"false_alarms_per_tile": 0.07447004608294931
},
"0.5": {
"recall": 0.6151419558359621,
"precision": 0.3884462151394422,
"f1": 0.4761904761904762,
"false_alarms_per_tile": 0.056589861751152076
},
"0.55": {
"recall": 0.5394321766561514,
"precision": 0.4697802197802198,
"f1": 0.5022026431718062,
"false_alarms_per_tile": 0.03557603686635945
},
"0.6": {
"recall": 0.4227129337539432,
"precision": 0.5381526104417671,
"f1": 0.4734982332155477,
"false_alarms_per_tile": 0.02119815668202765
},
"0.65": {
"recall": 0.2996845425867508,
"precision": 0.5792682926829268,
"f1": 0.39501039501039503,
"false_alarms_per_tile": 0.01271889400921659
},
"0.7": {
"recall": 0.20189274447949526,
"precision": 0.5714285714285714,
"f1": 0.29836829836829837,
"false_alarms_per_tile": 0.008847926267281106
},
"0.75": {
"recall": 0.0946372239747634,
"precision": 0.5454545454545454,
"f1": 0.16129032258064516,
"false_alarms_per_tile": 0.004608294930875576
}
},
"best_f1": {
"threshold": 0.55,
"recall": 0.5394321766561514,
"precision": 0.4697802197802198,
"f1": 0.5022026431718062,
"false_alarms_per_tile": 0.03557603686635945
},
"recall_90": {
"threshold": 0.15,
"recall": 0.9053627760252366,
"precision": 0.05781627719580983,
"f1": 0.10869153569399735,
"false_alarms_per_tile": 0.8621198156682027
}
},
"val/int8_qat": {
"people": 317,
"tiles": 5425,
"by_threshold": {
"0.1": {
"recall": 0.917981072555205,
"precision": 0.030654166227746762,
"f1": 0.05932721712538226,
"false_alarms_per_tile": 1.696221198156682
},
"0.15": {
"recall": 0.9022082018927445,
"precision": 0.05909090909090909,
"f1": 0.11091719992243552,
"false_alarms_per_tile": 0.8394470046082949
},
"0.2": {
"recall": 0.8801261829652997,
"precision": 0.08519083969465649,
"f1": 0.15534521158129178,
"false_alarms_per_tile": 0.552258064516129
},
"0.25": {
"recall": 0.8548895899053628,
"precision": 0.13409203364670955,
"f1": 0.23182207014542344,
"false_alarms_per_tile": 0.3225806451612903
},
"0.3": {
"recall": 0.8359621451104101,
"precision": 0.1818805765271105,
"f1": 0.2987598647125141,
"false_alarms_per_tile": 0.21972350230414747
},
"0.35": {
"recall": 0.7981072555205048,
"precision": 0.22609472743521,
"f1": 0.35236768802228413,
"false_alarms_per_tile": 0.15963133640552996
},
"0.4": {
"recall": 0.750788643533123,
"precision": 0.2840095465393795,
"f1": 0.4121212121212121,
"false_alarms_per_tile": 0.11059907834101383
},
"0.45": {
"recall": 0.6845425867507886,
"precision": 0.34831460674157305,
"f1": 0.4617021276595745,
"false_alarms_per_tile": 0.07483870967741936
},
"0.5": {
"recall": 0.6151419558359621,
"precision": 0.4166666666666667,
"f1": 0.4968152866242038,
"false_alarms_per_tile": 0.05032258064516129
},
"0.55": {
"recall": 0.5425867507886435,
"precision": 0.455026455026455,
"f1": 0.4949640287769784,
"false_alarms_per_tile": 0.037972350230414745
},
"0.6": {
"recall": 0.4384858044164038,
"precision": 0.5265151515151515,
"f1": 0.47848537005163505,
"false_alarms_per_tile": 0.02304147465437788
},
"0.65": {
"recall": 0.30914826498422715,
"precision": 0.6049382716049383,
"f1": 0.4091858037578288,
"false_alarms_per_tile": 0.011797235023041475
},
"0.7": {
"recall": 0.1861198738170347,
"precision": 0.6145833333333334,
"f1": 0.2857142857142857,
"false_alarms_per_tile": 0.0068202764976958525
},
"0.75": {
"recall": 0.09779179810725552,
"precision": 0.5636363636363636,
"f1": 0.16666666666666669,
"false_alarms_per_tile": 0.004423963133640553
}
},
"best_f1": {
"threshold": 0.5,
"recall": 0.6151419558359621,
"precision": 0.4166666666666667,
"f1": 0.4968152866242038,
"false_alarms_per_tile": 0.05032258064516129
},
"recall_90": {
"threshold": 0.15,
"recall": 0.9022082018927445,
"precision": 0.05909090909090909,
"f1": 0.11091719992243552,
"false_alarms_per_tile": 0.8394470046082949
}
},
"test/float": {
"people": 372,
"tiles": 3507,
"by_threshold": {
"0.1": {
"recall": 0.8709677419354839,
"precision": 0.0637042862760519,
"f1": 0.1187248076218395,
"false_alarms_per_tile": 1.3578557171371544
},
"0.15": {
"recall": 0.8440860215053764,
"precision": 0.11659858893427405,
"f1": 0.20489396411092986,
"false_alarms_per_tile": 0.6783575705731394
},
"0.2": {
"recall": 0.8252688172043011,
"precision": 0.1775592828224407,
"f1": 0.2922417896239886,
"false_alarms_per_tile": 0.40547476475620187
},
"0.25": {
"recall": 0.793010752688172,
"precision": 0.24380165289256198,
"f1": 0.3729456384323641,
"false_alarms_per_tile": 0.2609067579127459
},
"0.3": {
"recall": 0.7446236559139785,
"precision": 0.3047304730473047,
"f1": 0.4324746291959407,
"false_alarms_per_tile": 0.18021100655831196
},
"0.35": {
"recall": 0.7043010752688172,
"precision": 0.3830409356725146,
"f1": 0.4962121212121212,
"false_alarms_per_tile": 0.12033076703735386
},
"0.4": {
"recall": 0.6505376344086021,
"precision": 0.4662813102119461,
"f1": 0.5432098765432098,
"false_alarms_per_tile": 0.0789848873681209
},
"0.45": {
"recall": 0.5698924731182796,
"precision": 0.5506493506493506,
"f1": 0.5601056803170409,
"false_alarms_per_tile": 0.04932991160536071
},
"0.5": {
"recall": 0.49731182795698925,
"precision": 0.6125827814569537,
"f1": 0.5489614243323442,
"false_alarms_per_tile": 0.033361847733105215
},
"0.55": {
"recall": 0.42473118279569894,
"precision": 0.683982683982684,
"f1": 0.5240464344941957,
"false_alarms_per_tile": 0.020815511833475905
},
"0.6": {
"recall": 0.34946236559139787,
"precision": 0.7602339181286549,
"f1": 0.47882136279926335,
"false_alarms_per_tile": 0.011690903906472769
},
"0.65": {
"recall": 0.25806451612903225,
"precision": 0.8495575221238938,
"f1": 0.3958762886597938,
"false_alarms_per_tile": 0.004847447961220416
},
"0.7": {
"recall": 0.15591397849462366,
"precision": 0.9206349206349206,
"f1": 0.26666666666666666,
"false_alarms_per_tile": 0.00142571998859424
},
"0.75": {
"recall": 0.06720430107526881,
"precision": 0.9259259259259259,
"f1": 0.12531328320802004,
"false_alarms_per_tile": 0.0005702879954376961
}
},
"best_f1": {
"threshold": 0.45,
"recall": 0.5698924731182796,
"precision": 0.5506493506493506,
"f1": 0.5601056803170409,
"false_alarms_per_tile": 0.04932991160536071
},
"recall_90": null
},
"test/int8_ptq": {
"people": 372,
"tiles": 3507,
"by_threshold": {
"0.1": {
"recall": 0.8763440860215054,
"precision": 0.05307717355910127,
"f1": 0.1000921093030396,
"false_alarms_per_tile": 1.65839749073282
},
"0.15": {
"recall": 0.8440860215053764,
"precision": 0.10301837270341208,
"f1": 0.18362573099415205,
"false_alarms_per_tile": 0.7795836897633305
},
"0.2": {
"recall": 0.8225806451612904,
"precision": 0.15871369294605808,
"f1": 0.2660869565217391,
"false_alarms_per_tile": 0.46250356429997147
},
"0.25": {
"recall": 0.7795698924731183,
"precision": 0.21641791044776118,
"f1": 0.338785046728972,
"false_alarms_per_tile": 0.2994011976047904
},
"0.3": {
"recall": 0.7365591397849462,
"precision": 0.29148936170212764,
"f1": 0.4176829268292682,
"false_alarms_per_tile": 0.1899059024807528
},
"0.35": {
"recall": 0.6935483870967742,
"precision": 0.3760932944606414,
"f1": 0.48771266540642716,
"false_alarms_per_tile": 0.12204163102366695
},
"0.4": {
"recall": 0.6370967741935484,
"precision": 0.4497153700189753,
"f1": 0.5272525027808675,
"false_alarms_per_tile": 0.08269175933846593
},
"0.45": {
"recall": 0.5779569892473119,
"precision": 0.5180722891566265,
"f1": 0.5463786531130878,
"false_alarms_per_tile": 0.057028799543769604
},
"0.5": {
"recall": 0.5,
"precision": 0.5794392523364486,
"f1": 0.5367965367965368,
"false_alarms_per_tile": 0.03849443969204448
},
"0.55": {
"recall": 0.4220430107526882,
"precision": 0.6796536796536796,
"f1": 0.5207296849087893,
"false_alarms_per_tile": 0.021100655831194755
},
"0.6": {
"recall": 0.3521505376344086,
"precision": 0.7359550561797753,
"f1": 0.4763636363636364,
"false_alarms_per_tile": 0.013401767892785858
},
"0.65": {
"recall": 0.2768817204301075,
"precision": 0.7923076923076923,
"f1": 0.4103585657370518,
"false_alarms_per_tile": 0.007698887938408896
},
"0.7": {
"recall": 0.1586021505376344,
"precision": 0.8805970149253731,
"f1": 0.26879271070615035,
"false_alarms_per_tile": 0.0022811519817507843
},
"0.75": {
"recall": 0.06720430107526881,
"precision": 0.9615384615384616,
"f1": 0.12562814070351758,
"false_alarms_per_tile": 0.00028514399771884804
}
},
"best_f1": {
"threshold": 0.45,
"recall": 0.5779569892473119,
"precision": 0.5180722891566265,
"f1": 0.5463786531130878,
"false_alarms_per_tile": 0.057028799543769604
},
"recall_90": null
},
"test/int8_qat": {
"people": 372,
"tiles": 3507,
"by_threshold": {
"0.1": {
"recall": 0.8655913978494624,
"precision": 0.05508039685254875,
"f1": 0.10357027983274365,
"false_alarms_per_tile": 1.5751354433989164
},
"0.15": {
"recall": 0.8413978494623656,
"precision": 0.10997891777933942,
"f1": 0.19453076444996895,
"false_alarms_per_tile": 0.722269746221842
},
"0.2": {
"recall": 0.8252688172043011,
"precision": 0.15751667521806054,
"f1": 0.2645411460577337,
"false_alarms_per_tile": 0.46820644425434843
},
"0.25": {
"recall": 0.782258064516129,
"precision": 0.2293144208037825,
"f1": 0.3546617915904936,
"false_alarms_per_tile": 0.2788708297690334
},
"0.3": {
"recall": 0.7446236559139785,
"precision": 0.2975295381310419,
"f1": 0.42517267843438217,
"false_alarms_per_tile": 0.1864841745081266
},
"0.35": {
"recall": 0.7123655913978495,
"precision": 0.3680555555555556,
"f1": 0.4853479853479854,
"false_alarms_per_tile": 0.12974051896207583
},
"0.4": {
"recall": 0.6586021505376344,
"precision": 0.4537037037037037,
"f1": 0.5372807017543859,
"false_alarms_per_tile": 0.08411747932706017
},
"0.45": {
"recall": 0.5967741935483871,
"precision": 0.524822695035461,
"f1": 0.5584905660377358,
"false_alarms_per_tile": 0.05731394354148845
},
"0.5": {
"recall": 0.5,
"precision": 0.5904761904761905,
"f1": 0.5414847161572052,
"false_alarms_per_tile": 0.036783575705731396
},
"0.55": {
"recall": 0.4327956989247312,
"precision": 0.6518218623481782,
"f1": 0.5201938610662359,
"false_alarms_per_tile": 0.024522383803820928
},
"0.6": {
"recall": 0.3602150537634409,
"precision": 0.7444444444444445,
"f1": 0.48550724637681153,
"false_alarms_per_tile": 0.01311662389506701
},
"0.65": {
"recall": 0.271505376344086,
"precision": 0.8278688524590164,
"f1": 0.40890688259109315,
"false_alarms_per_tile": 0.005988023952095809
},
"0.7": {
"recall": 0.1424731182795699,
"precision": 0.8688524590163934,
"f1": 0.2448036951501155,
"false_alarms_per_tile": 0.0022811519817507843
},
"0.75": {
"recall": 0.06720430107526881,
"precision": 0.9259259259259259,
"f1": 0.12531328320802004,
"false_alarms_per_tile": 0.0005702879954376961
}
},
"best_f1": {
"threshold": 0.45,
"recall": 0.5967741935483871,
"precision": 0.524822695035461,
"f1": 0.5584905660377358,
"false_alarms_per_tile": 0.05731394354148845
},
"recall_90": null
}
}