VoxHOD / evaluation.json
inviolus's picture
v3 and 75 KB nano, WiSARD external check, files renamed to voxhod
491937a verified
Raw History Blame Contribute Delete
19.1 kB
{
"params": 136547,
"val/float": {
"people": 317,
"tiles": 5425,
"by_threshold": {
"0.1": {
"recall": 0.9116719242902208,
"precision": 0.049664890874720743,
"f1": 0.09419817470664928,
"false_alarms_per_tile": 1.0193548387096774
},
"0.15": {
"recall": 0.886435331230284,
"precision": 0.08525485436893204,
"f1": 0.15554940492665376,
"false_alarms_per_tile": 0.5557603686635945
},
"0.2": {
"recall": 0.861198738170347,
"precision": 0.12431693989071038,
"f1": 0.21727019498607242,
"false_alarms_per_tile": 0.3544700460829493
},
"0.25": {
"recall": 0.8359621451104101,
"precision": 0.16368128474366894,
"f1": 0.27376033057851246,
"false_alarms_per_tile": 0.2495852534562212
},
"0.3": {
"recall": 0.8233438485804416,
"precision": 0.21306122448979592,
"f1": 0.3385214007782101,
"false_alarms_per_tile": 0.17769585253456222
},
"0.35": {
"recall": 0.7981072555205048,
"precision": 0.25816326530612244,
"f1": 0.39013107170393213,
"false_alarms_per_tile": 0.13400921658986176
},
"0.4": {
"recall": 0.7728706624605678,
"precision": 0.3232189973614776,
"f1": 0.4558139534883721,
"false_alarms_per_tile": 0.09456221198156682
},
"0.45": {
"recall": 0.7381703470031545,
"precision": 0.3836065573770492,
"f1": 0.5048543689320388,
"false_alarms_per_tile": 0.06930875576036867
},
"0.5": {
"recall": 0.7003154574132492,
"precision": 0.444,
"f1": 0.5434516523867808,
"false_alarms_per_tile": 0.051244239631336404
},
"0.55": {
"recall": 0.6435331230283912,
"precision": 0.5012285012285013,
"f1": 0.5635359116022101,
"false_alarms_per_tile": 0.03741935483870968
},
"0.6": {
"recall": 0.5457413249211357,
"precision": 0.5635179153094463,
"f1": 0.5544871794871795,
"false_alarms_per_tile": 0.02470046082949309
},
"0.65": {
"recall": 0.4353312302839117,
"precision": 0.6188340807174888,
"f1": 0.5111111111111112,
"false_alarms_per_tile": 0.01566820276497696
},
"0.7": {
"recall": 0.305993690851735,
"precision": 0.6554054054054054,
"f1": 0.4172043010752688,
"false_alarms_per_tile": 0.009400921658986176
},
"0.75": {
"recall": 0.19873817034700317,
"precision": 0.6923076923076923,
"f1": 0.3088235294117647,
"false_alarms_per_tile": 0.005161290322580645
}
},
"best_f1": {
"threshold": 0.55,
"recall": 0.6435331230283912,
"precision": 0.5012285012285013,
"f1": 0.5635359116022101,
"false_alarms_per_tile": 0.03741935483870968
},
"recall_90": {
"threshold": 0.1,
"recall": 0.9116719242902208,
"precision": 0.049664890874720743,
"f1": 0.09419817470664928,
"false_alarms_per_tile": 1.0193548387096774
}
},
"val/int8_ptq": {
"people": 317,
"tiles": 5425,
"by_threshold": {
"0.1": {
"recall": 0.9211356466876972,
"precision": 0.042288196958725564,
"f1": 0.0808640265854334,
"false_alarms_per_tile": 1.2189861751152073
},
"0.15": {
"recall": 0.9053627760252366,
"precision": 0.07505230125523013,
"f1": 0.13861386138613863,
"false_alarms_per_tile": 0.6519815668202765
},
"0.2": {
"recall": 0.8675078864353313,
"precision": 0.11593591905564925,
"f1": 0.2045370026031982,
"false_alarms_per_tile": 0.3865437788018433
},
"0.25": {
"recall": 0.8548895899053628,
"precision": 0.15114333519241493,
"f1": 0.25687203791469193,
"false_alarms_per_tile": 0.2805529953917051
},
"0.3": {
"recall": 0.8391167192429022,
"precision": 0.19776951672862453,
"f1": 0.3200962695547533,
"false_alarms_per_tile": 0.19889400921658987
},
"0.35": {
"recall": 0.8012618296529969,
"precision": 0.25,
"f1": 0.38109527381845465,
"false_alarms_per_tile": 0.14046082949308755
},
"0.4": {
"recall": 0.7791798107255521,
"precision": 0.3004866180048662,
"f1": 0.43371378402107114,
"false_alarms_per_tile": 0.10599078341013825
},
"0.45": {
"recall": 0.7381703470031545,
"precision": 0.34977578475336324,
"f1": 0.47464503042596345,
"false_alarms_per_tile": 0.08018433179723503
},
"0.5": {
"recall": 0.6971608832807571,
"precision": 0.4010889292196007,
"f1": 0.5092165898617511,
"false_alarms_per_tile": 0.060829493087557605
},
"0.55": {
"recall": 0.6309148264984227,
"precision": 0.4878048780487805,
"f1": 0.5502063273727646,
"false_alarms_per_tile": 0.03870967741935484
},
"0.6": {
"recall": 0.5425867507886435,
"precision": 0.5292307692307693,
"f1": 0.5358255451713396,
"false_alarms_per_tile": 0.028202764976958526
},
"0.65": {
"recall": 0.444794952681388,
"precision": 0.5778688524590164,
"f1": 0.5026737967914439,
"false_alarms_per_tile": 0.018986175115207372
},
"0.7": {
"recall": 0.2902208201892745,
"precision": 0.6133333333333333,
"f1": 0.3940042826552463,
"false_alarms_per_tile": 0.010691244239631336
},
"0.75": {
"recall": 0.1861198738170347,
"precision": 0.686046511627907,
"f1": 0.29280397022332505,
"false_alarms_per_tile": 0.004976958525345622
}
},
"best_f1": {
"threshold": 0.55,
"recall": 0.6309148264984227,
"precision": 0.4878048780487805,
"f1": 0.5502063273727646,
"false_alarms_per_tile": 0.03870967741935484
},
"recall_90": {
"threshold": 0.15,
"recall": 0.9053627760252366,
"precision": 0.07505230125523013,
"f1": 0.13861386138613863,
"false_alarms_per_tile": 0.6519815668202765
}
},
"val/int8_qat": {
"people": 317,
"tiles": 5425,
"by_threshold": {
"0.1": {
"recall": 0.9242902208201893,
"precision": 0.040773726690787646,
"f1": 0.0781020924963348,
"false_alarms_per_tile": 1.270599078341014
},
"0.15": {
"recall": 0.8958990536277602,
"precision": 0.07267144319344933,
"f1": 0.13443786982248518,
"false_alarms_per_tile": 0.6680184331797235
},
"0.2": {
"recall": 0.8675078864353313,
"precision": 0.1085240726124704,
"f1": 0.1929147667485093,
"false_alarms_per_tile": 0.41640552995391705
},
"0.25": {
"recall": 0.8517350157728707,
"precision": 0.14835164835164835,
"f1": 0.25269068788020593,
"false_alarms_per_tile": 0.2857142857142857
},
"0.3": {
"recall": 0.8233438485804416,
"precision": 0.19579894973743436,
"f1": 0.31636363636363635,
"false_alarms_per_tile": 0.19760368663594471
},
"0.35": {
"recall": 0.807570977917981,
"precision": 0.24497607655502393,
"f1": 0.3759177679882526,
"false_alarms_per_tile": 0.14543778801843318
},
"0.4": {
"recall": 0.7697160883280757,
"precision": 0.2929171668667467,
"f1": 0.4243478260869565,
"false_alarms_per_tile": 0.10857142857142857
},
"0.45": {
"recall": 0.7413249211356467,
"precision": 0.3637770897832817,
"f1": 0.48805815160955346,
"false_alarms_per_tile": 0.07576036866359447
},
"0.5": {
"recall": 0.6971608832807571,
"precision": 0.3911504424778761,
"f1": 0.5011337868480725,
"false_alarms_per_tile": 0.06341013824884793
},
"0.55": {
"recall": 0.637223974763407,
"precision": 0.45089285714285715,
"f1": 0.5281045751633987,
"false_alarms_per_tile": 0.045345622119815666
},
"0.6": {
"recall": 0.555205047318612,
"precision": 0.5101449275362319,
"f1": 0.5317220543806646,
"false_alarms_per_tile": 0.031152073732718895
},
"0.65": {
"recall": 0.45425867507886436,
"precision": 0.5669291338582677,
"f1": 0.5043782837127846,
"false_alarms_per_tile": 0.020276497695852536
},
"0.7": {
"recall": 0.31230283911671924,
"precision": 0.6111111111111112,
"f1": 0.4133611691022964,
"false_alarms_per_tile": 0.011612903225806452
},
"0.75": {
"recall": 0.1861198738170347,
"precision": 0.6082474226804123,
"f1": 0.28502415458937197,
"false_alarms_per_tile": 0.007004608294930876
}
},
"best_f1": {
"threshold": 0.6,
"recall": 0.555205047318612,
"precision": 0.5101449275362319,
"f1": 0.5317220543806646,
"false_alarms_per_tile": 0.031152073732718895
},
"recall_90": {
"threshold": 0.1,
"recall": 0.9242902208201893,
"precision": 0.040773726690787646,
"f1": 0.0781020924963348,
"false_alarms_per_tile": 1.270599078341014
}
},
"test/float": {
"people": 372,
"tiles": 3507,
"by_threshold": {
"0.1": {
"recall": 0.8763440860215054,
"precision": 0.09551714034573688,
"f1": 0.17225891677675031,
"false_alarms_per_tile": 0.8802395209580839
},
"0.15": {
"recall": 0.8521505376344086,
"precision": 0.16091370558375634,
"f1": 0.2707087959009394,
"false_alarms_per_tile": 0.4713430282292558
},
"0.2": {
"recall": 0.8333333333333334,
"precision": 0.2315160567587752,
"f1": 0.3623611922852133,
"false_alarms_per_tile": 0.2934131736526946
},
"0.25": {
"recall": 0.7983870967741935,
"precision": 0.29232283464566927,
"f1": 0.42795389048991356,
"false_alarms_per_tile": 0.20501853435985173
},
"0.3": {
"recall": 0.7741935483870968,
"precision": 0.35511713933415534,
"f1": 0.48689771766694834,
"false_alarms_per_tile": 0.14913031080695752
},
"0.35": {
"recall": 0.7365591397849462,
"precision": 0.4157814871016692,
"f1": 0.5315227934044617,
"false_alarms_per_tile": 0.10978043912175649
},
"0.4": {
"recall": 0.6908602150537635,
"precision": 0.48582230623818523,
"f1": 0.5704772475027747,
"false_alarms_per_tile": 0.07755916737952666
},
"0.45": {
"recall": 0.6344086021505376,
"precision": 0.5450346420323325,
"f1": 0.586335403726708,
"false_alarms_per_tile": 0.05617336755061306
},
"0.5": {
"recall": 0.5725806451612904,
"precision": 0.615606936416185,
"f1": 0.5933147632311978,
"false_alarms_per_tile": 0.03792415169660679
},
"0.55": {
"recall": 0.5053763440860215,
"precision": 0.6911764705882353,
"f1": 0.5838509316770186,
"false_alarms_per_tile": 0.023952095808383235
},
"0.6": {
"recall": 0.4274193548387097,
"precision": 0.7327188940092166,
"f1": 0.5398981324278438,
"false_alarms_per_tile": 0.016538351867693184
},
"0.65": {
"recall": 0.3548387096774194,
"precision": 0.7719298245614035,
"f1": 0.48618784530386744,
"false_alarms_per_tile": 0.011120615911035072
},
"0.7": {
"recall": 0.27419354838709675,
"precision": 0.8429752066115702,
"f1": 0.4137931034482758,
"false_alarms_per_tile": 0.005417735956658112
},
"0.75": {
"recall": 0.1827956989247312,
"precision": 0.8717948717948718,
"f1": 0.3022222222222222,
"false_alarms_per_tile": 0.00285143997718848
}
},
"best_f1": {
"threshold": 0.5,
"recall": 0.5725806451612904,
"precision": 0.615606936416185,
"f1": 0.5933147632311978,
"false_alarms_per_tile": 0.03792415169660679
},
"recall_90": null
},
"test/int8_ptq": {
"people": 372,
"tiles": 3507,
"by_threshold": {
"0.1": {
"recall": 0.8844086021505376,
"precision": 0.08075601374570447,
"f1": 0.14799820062977959,
"false_alarms_per_tile": 1.0678642714570858
},
"0.15": {
"recall": 0.8548387096774194,
"precision": 0.14027348919276578,
"f1": 0.2410003789314134,
"false_alarms_per_tile": 0.5557456515540348
},
"0.2": {
"recall": 0.8306451612903226,
"precision": 0.21325051759834368,
"f1": 0.3393739703459638,
"false_alarms_per_tile": 0.32506415739948674
},
"0.25": {
"recall": 0.8010752688172043,
"precision": 0.26071741032370954,
"f1": 0.3933993399339934,
"false_alarms_per_tile": 0.24094667807242656
},
"0.3": {
"recall": 0.771505376344086,
"precision": 0.3221099887766554,
"f1": 0.45447347585114806,
"false_alarms_per_tile": 0.1722269746221842
},
"0.35": {
"recall": 0.7419354838709677,
"precision": 0.4052863436123348,
"f1": 0.5242165242165242,
"false_alarms_per_tile": 0.11548331907613345
},
"0.4": {
"recall": 0.7016129032258065,
"precision": 0.46774193548387094,
"f1": 0.5612903225806452,
"false_alarms_per_tile": 0.08468776732249786
},
"0.45": {
"recall": 0.6478494623655914,
"precision": 0.5331858407079646,
"f1": 0.5849514563106796,
"false_alarms_per_tile": 0.06016538351867693
},
"0.5": {
"recall": 0.5833333333333334,
"precision": 0.5945205479452055,
"f1": 0.5888738127544098,
"false_alarms_per_tile": 0.04220131166238951
},
"0.55": {
"recall": 0.48655913978494625,
"precision": 0.6753731343283582,
"f1": 0.565625,
"false_alarms_per_tile": 0.02480752780153978
},
"0.6": {
"recall": 0.42473118279569894,
"precision": 0.728110599078341,
"f1": 0.5365025466893039,
"false_alarms_per_tile": 0.016823495865412035
},
"0.65": {
"recall": 0.3602150537634409,
"precision": 0.7657142857142857,
"f1": 0.489945155393053,
"false_alarms_per_tile": 0.011690903906472769
},
"0.7": {
"recall": 0.27419354838709675,
"precision": 0.8429752066115702,
"f1": 0.4137931034482758,
"false_alarms_per_tile": 0.005417735956658112
},
"0.75": {
"recall": 0.16666666666666666,
"precision": 0.8611111111111112,
"f1": 0.27927927927927926,
"false_alarms_per_tile": 0.00285143997718848
}
},
"best_f1": {
"threshold": 0.5,
"recall": 0.5833333333333334,
"precision": 0.5945205479452055,
"f1": 0.5888738127544098,
"false_alarms_per_tile": 0.04220131166238951
},
"recall_90": null
},
"test/int8_qat": {
"people": 372,
"tiles": 3507,
"by_threshold": {
"0.1": {
"recall": 0.8870967741935484,
"precision": 0.07737397420867527,
"f1": 0.1423334052188915,
"false_alarms_per_tile": 1.122041631023667
},
"0.15": {
"recall": 0.8575268817204301,
"precision": 0.13827481577806675,
"f1": 0.2381485628966032,
"false_alarms_per_tile": 0.5668662674650699
},
"0.2": {
"recall": 0.8387096774193549,
"precision": 0.2035225048923679,
"f1": 0.32755905511811023,
"false_alarms_per_tile": 0.3481608212147134
},
"0.25": {
"recall": 0.7903225806451613,
"precision": 0.26320501342882724,
"f1": 0.39489590329079916,
"false_alarms_per_tile": 0.23467351012261192
},
"0.3": {
"recall": 0.7661290322580645,
"precision": 0.3249714937286203,
"f1": 0.4563650920736589,
"false_alarms_per_tile": 0.16880524664955804
},
"0.35": {
"recall": 0.7365591397849462,
"precision": 0.4,
"f1": 0.5184484389782402,
"false_alarms_per_tile": 0.11719418306244654
},
"0.4": {
"recall": 0.6854838709677419,
"precision": 0.450530035335689,
"f1": 0.5437100213219617,
"false_alarms_per_tile": 0.08867978329056174
},
"0.45": {
"recall": 0.6344086021505376,
"precision": 0.5086206896551724,
"f1": 0.5645933014354065,
"false_alarms_per_tile": 0.06501283147989735
},
"0.5": {
"recall": 0.5913978494623656,
"precision": 0.5486284289276808,
"f1": 0.5692108667529108,
"false_alarms_per_tile": 0.05161106358711149
},
"0.55": {
"recall": 0.510752688172043,
"precision": 0.6012658227848101,
"f1": 0.5523255813953487,
"false_alarms_per_tile": 0.03592814371257485
},
"0.6": {
"recall": 0.44086021505376344,
"precision": 0.6586345381526104,
"f1": 0.5281803542673108,
"false_alarms_per_tile": 0.02423723980610208
},
"0.65": {
"recall": 0.3763440860215054,
"precision": 0.7035175879396985,
"f1": 0.4903677758318739,
"false_alarms_per_tile": 0.016823495865412035
},
"0.7": {
"recall": 0.2849462365591398,
"precision": 0.7794117647058824,
"f1": 0.41732283464566927,
"false_alarms_per_tile": 0.00855431993156544
},
"0.75": {
"recall": 0.18010752688172044,
"precision": 0.8375,
"f1": 0.29646017699115046,
"false_alarms_per_tile": 0.0037068719703450244
}
},
"best_f1": {
"threshold": 0.5,
"recall": 0.5913978494623656,
"precision": 0.5486284289276808,
"f1": 0.5692108667529108,
"false_alarms_per_tile": 0.05161106358711149
},
"recall_90": null
}
}