Instructions to use hfvladkon/bert_token_classification_detector with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use hfvladkon/bert_token_classification_detector with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("token-classification", model="hfvladkon/bert_token_classification_detector")# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForTokenClassification tokenizer = AutoTokenizer.from_pretrained("hfvladkon/bert_token_classification_detector") model = AutoModelForTokenClassification.from_pretrained("hfvladkon/bert_token_classification_detector", device_map="auto") - Notebooks
- Google Colab
- Kaggle
File size: 1,524 Bytes
5a4aaa1 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 | # Предсказания и метрики этой модели
Файлы этого каталога относятся к модели ветки `main` (ран `NF2_native_mbert_final_overlap` в нашей рабочей папке).
| файл | что внутри |
|---|---|
| `probs_test.npz`, `probs_validation.npz` | вероятности классов на каждый токен ответа, метки, типы дефектов, id событий, вариант строки (source / corrected) |
| `report.json` | метрики: совпадение спанов по пересечению и точный seqeval, подобранный на val порог, разбор по типам, проверка совпадения после перезагрузки модели |
| `args.json` | параметры запуска обучения |
| `test_predictions.jsonl`, `val_predictions.jsonl` | предсказанные и эталонные спаны с расшифрованным текстом |
Метрики пересчитываются по этим файлам без переобучения: `python code/../rescore.py .` из рабочей папки проекта (`metrics.overlap_report`).
Порог в `config.defect_threshold` подобран не по этим файлам, а по предсказаниям вне фолдов кросс-валидации на всех 1000 ответах; порог с val лежит в `config.defect_threshold_val`.
|