hfvladkon's picture
Add validation/test probabilities, metrics and predictions for this model
5a4aaa1
|
Raw History Blame Contribute Delete
1.52 kB
# Предсказания и метрики этой модели
Файлы этого каталога относятся к модели ветки `main` (ран `NF2_native_mbert_final_overlap` в нашей рабочей папке).
| файл | что внутри |
|---|---|
| `probs_test.npz`, `probs_validation.npz` | вероятности классов на каждый токен ответа, метки, типы дефектов, id событий, вариант строки (source / corrected) |
| `report.json` | метрики: совпадение спанов по пересечению и точный seqeval, подобранный на val порог, разбор по типам, проверка совпадения после перезагрузки модели |
| `args.json` | параметры запуска обучения |
| `test_predictions.jsonl`, `val_predictions.jsonl` | предсказанные и эталонные спаны с расшифрованным текстом |
Метрики пересчитываются по этим файлам без переобучения: `python code/../rescore.py .` из рабочей папки проекта (`metrics.overlap_report`).
Порог в `config.defect_threshold` подобран не по этим файлам, а по предсказаниям вне фолдов кросс-валидации на всех 1000 ответах; порог с val лежит в `config.defect_threshold_val`.