| --- |
| language: |
| - ru |
| library_name: transformers |
| pipeline_tag: token-classification |
| base_model: deepvk/RuModernBERT-base |
| tags: |
| - token-classification |
| - qwen |
| - error-detection |
| --- |
| |
| # RuModernBERT, родная токенизация, двухэтапное обучение (лучшая модель) |
|
|
| Ветка `main` репозитория `hfvladkon/bert_token_classification_detector`. |
|
|
| Разметчик дефектов в ответах Qwen3.8-Flash-Next. Модель помечает токены ответа Qwen, в которых есть языковой дефект: |
| иероглифы среди русского текста, латинские и прочие иностранные вставки, смешение алфавитов внутри слова, транслитерация, |
| ошибки согласования, управления, морфологии, орфографии и пропуски слов. |
|
|
| - **Вход:** текст ответа (декодированные без потерь токены Qwen) в родной токенизации энкодера; вероятности усредняются обратно на токены Qwen. |
| - **Выход:** метка на каждый токен ответа Qwen: `O`, `BAD-script`, `TAIL-script`, `BAD-grammar`, `TAIL-grammar`. |
| BAD — первый дефектный токен ошибки, TAIL — продолжение той же ошибки. |
| - **Пороги** (`config.defect_threshold`, [алфавит, грамматика]): [0.5, 0.9]. Токен считается дефектным, если сумма вероятностей |
| BAD+TAIL его группы не меньше порога. Пороги подобраны по предсказаниям вне фолдов кросс-валидации (или на val, где CV нет); |
| порог, подобранный на val основного сплита, лежит в `config.defect_threshold_val`. |
|
|
| ## Как запустить |
|
|
| ```python |
| import sys |
| from huggingface_hub import snapshot_download |
| path = snapshot_download("hfvladkon/bert_token_classification_detector", revision="main") |
| sys.path.insert(0, f"{path}/code") |
| from tag import Tagger |
| |
| t = Tagger(path) |
| # ответ текстом (токенизируется токенизатором Qwen3.8), либо готовые id Qwen: t.tag_ids(ids, answer_start, query) |
| ids, answer_start, probs, spans = t.tag_text("текст ответа", query="вопрос пользователя") |
| print(spans) # [{'tokens': [s, e], 'text': ..., 'p': ..., 'group': 'script'|'grammar'}] |
| ``` |
|
|
| Из командной строки: `python code/tag.py --model <path> --query "..." --answer-file answer.txt`. |
| Нужны `torch` и `transformers` 5.x. |
|
|
| ## Обучение |
|
|
| Данные: 1000 ответов Qwen3.8-Flash-Next, размеченных вручную агентом по токенам (1129 ошибок; схема O / BAD / TAIL, |
| зависимые, спорные и неуверенные места в обучении не участвуют), плюс исправленные версии тех же ответов как негативы и синтетические ошибки |
| (pymorphy3: согласование, управление, морфология, орфография, пропуски; вставки иероглифов, латиницы и смешение алфавитов) на русской Википедии. |
| Сплит 800 / 100 / 100 ответов. |
|
|
| Этап 1: только синтетика на русской Википедии и Викитеке (8000 документов, около 15 тыс. ошибок). Этап 2: реальная разметка плюс грамматическая синтетика с весом 0.3, 6 эпох, lr 3e-5, лучшая эпоха по F1 на пересечении спанов. |
|
|
| ## Качество |
|
|
| Метрика — совпадение спанов по пересечению: эталонная ошибка найдена, если её пересекает предсказанный спан той же группы; |
| предсказанный спан верен, если пересекает эталонный. Спаны извлекаются из BIO так же, как в seqeval. |
|
|
| | оценка | P | R | F1 | F1 алфавит | F1 грамматика | |
| |---|---|---|---|---|---| |
| | кросс-валидация, 1000 ответов (кросс-валидация той же схемы (CV-G)) | 0.79 | 0.58 | 0.669 | 0.930 | 0.278 | |
| | test основного сплита, 100 ответов | 0.70 | 0.56 | 0.622 | 0.962 | 0.251 | |
|
|
| Test содержит 114 ошибок, разброс между сидами там до ±0.07 F1, поэтому модели сравниваются по кросс-валидации. |
| Если грамматику нужно ловить чаще: порог грамматики 0.5 даёт по CV F1 грамматики 0.311 (P 0.38, R 0.26) при общем F1 0.658. |
|
|
| ### Все ветки |
|
|
| | ветка | CV F1 | CV P | CV R | CV F1 алфавит | CV F1 грамматика | test F1 | |
| |---|---|---|---|---|---|---| |
| | [`main`](https://huggingface.co/hfvladkon/bert_token_classification_detector/tree/main) | 0.669 | 0.79 | 0.58 | 0.930 | 0.278 | 0.622 | |
| | [`xlm-roberta-large-qwen-tokens-2stage`](https://huggingface.co/hfvladkon/bert_token_classification_detector/tree/xlm-roberta-large-qwen-tokens-2stage) | 0.661 | 0.84 | 0.54 | 0.920 | 0.204 | 0.635 | |
| | [`rumodernbert-qwen-tokens-2stage`](https://huggingface.co/hfvladkon/bert_token_classification_detector/tree/rumodernbert-qwen-tokens-2stage) | 0.642 | 0.86 | 0.51 | 0.903 | 0.138 | 0.597 | |
| | [`mrt5-small-bytes-2stage`](https://huggingface.co/hfvladkon/bert_token_classification_detector/tree/mrt5-small-bytes-2stage) | 0.622 | 0.88 | 0.48 | 0.903 | 0.011 | 0.584 | |
| | [`byt5-small-bytes`](https://huggingface.co/hfvladkon/bert_token_classification_detector/tree/byt5-small-bytes) | – | – | – | – | – | 0.573 | |
|
|
| Ограничения: разметка агентская и неполная, часть «ложных» срабатываний — настоящие непомеченные ошибки. Грамматику все модели |
| находят заметно хуже, чем алфавитные дефекты (иероглифы находятся почти всегда, английские вставки — примерно в 95% случаев). |
|
|
