Upload from https://github.com/imgreencucumber/ru-ner/commit/3da1f09c15be1c18a1907fba2b72f800c6e49d0e

README.md

@@ -0,0 +1,127 @@
+---
+language: ru
+license: other
+library_name: transformers
+pipeline_tag: token-classification
+base_model: DeepPavlov/rubert-base-cased
+datasets:
+- RCC-MSU/collection3
+tags:
+- ner
+- onnx
+- russian
+metrics:
+- f1
+- precision
+- recall
+model-index:
+- name: rubert-ner-collection3
+  results:
+  - task:
+      type: token-classification
+      name: Named Entity Recognition
+    dataset:
+      type: RCC-MSU/collection3
+      name: Collection3
+      split: test
+    metrics:
+    - type: f1
+      value: 0.976
+      name: F1 (entity-level, seqeval)
+    - type: precision
+      value: 0.972
+    - type: recall
+      value: 0.980
+---
+
+# rubert-ner-collection3
+
+NER для русского языка: PER (люди), LOC (места), ORG (организации).
+`DeepPavlov/rubert-base-cased`, дообученный на Collection3 (новости).
+Кроме весов PyTorch в репозитории есть квантизованная ONNX-версия для CPU (`onnx/`, 170 МБ).
+
+Код обучения, сравнение с CRF, Natasha и LLM, сервис на FastAPI: https://github.com/imgreencucumber/ru-ner
+
+## Качество
+
+Тест Collection3: 1922 предложения, 4001 сущность. Метрики на уровне сущностей (`seqeval`):
+сущность засчитывается, только если совпали обе границы и тип. В скобках 95% bootstrap-интервал.
+
+| | Precision | Recall | F1 |
+|---|---|---|---|
+| Все сущности | 0.972 | 0.980 | **0.976** (0.970–0.981) |
+| PER | | | 0.998 |
+| LOC | | | 0.981 |
+| ORG | | | 0.943 |
+| Сущности, которых не было в train | | | 0.957 |
+
+ONNX int8 по качеству не отличается от исходной модели: F1 0.977 (0.971–0.982), разница с PyTorch в пределах шума
+(парный bootstrap).
+
+Цифры выше получены с декодированием, которое не допускает некорректных BIO-последовательностей
+(Витерби с запретом `O → I-X`). Если выбирать метку каждого слова независимо (argmax), F1 0.974.
+Стандартный `pipeline` из `transformers` тоже выбирает метки независимо, хотя части слов обрабатывает немного иначе.
+
+Для сравнения на том же тесте: Natasha 0.935, CRF 0.901, GigaChat-3-Ultra с примерами в промпте 0.828.
+
+**Другой домен.** На тесте WikiNEuRal-ru (Википедия) F1 0.799. Разметка WikiNEuRal автоматическая и содержит класс MISC,
+которого нет в Collection3, так что цифра занижена: часть «ошибок» приходится на MISC-сущности.
+
+## Использование
+
+С `transformers`:
+
+```python
+from transformers import pipeline
+
+ner = pipeline("token-classification", model="imgreencucumber/rubert-ner-collection3", aggregation_strategy="simple")
+ner("Глава Минфина Антон Силуанов встретился в Москве с представителями МВФ.")
+```
+
+ONNX-версия на CPU, без PyTorch, через пакет из репозитория проекта:
+
+```python
+# pip install git+https://github.com/imgreencucumber/ru-ner
+from huggingface_hub import snapshot_download
+from ru_ner.inference import OnnxBertNER
+
+path = snapshot_download("imgreencucumber/rubert-ner-collection3", allow_patterns=["onnx/*"])
+ner = OnnxBertNER(f"{path}/onnx")
+ner.extract("Глава Минфина Антон Силуанов встретился в Москве с представителями МВФ.")
+# [{'text': 'Минфина', 'type': 'ORG', 'start': 6, 'end': 13}, ...]
+```
+
+## Скорость
+
+Одно предложение за вызов, медиана, Intel Core i3-8100 (4 ядра):
+
+| Вариант | Задержка |
+|---|---|
+| ONNX int8, CPU | 15.9 мс |
+| ONNX fp32, CPU | 25.6 мс |
+| PyTorch, CPU | 35.9 мс |
+| PyTorch, GTX 1060 | 12.8 мс |
+
+## Обучение
+
+- Данные: Collection3, официальные сплиты train / validation / test (9301 / 2153 / 1922 предложения).
+- 4 эпохи, learning rate 3e-5, batch 16, linear warmup 10%, weight decay 0.01, `max_length=128`, seed 42.
+- Лучшая эпоха выбиралась по F1 на validation, тест в выборе не участвовал.
+- GTX 1060 6GB, 11 минут.
+- ONNX: экспорт через `torch.onnx` (dynamo), оптимизация графа ONNX Runtime, динамическая int8-квантизация
+  (`per_channel=True`, `reduce_range=True`).
+
+## Ограничения
+
+- Обучена на новостях 2010-х. На текстах другого стиля (соцсети, документы, Википедия) качество ниже.
+- Только три типа сущностей. Даты, суммы, должности и т. п. не размечаются.
+- Модель повторяет соглашения разметки Collection3: например, кавычки иногда входят в название организации,
+  а должность в сущность не входит никогда.
+- Около 58% сущностей теста встречались в train, поэтому F1 на тесте частично отражает запоминание.
+  F1 на новых сущностях (0.957) — более честная оценка обобщения.
+
+## Лицензия
+
+У базовой модели `DeepPavlov/rubert-base-cased` лицензия не указана, у Collection3 указана `other`,
+поэтому и здесь `other`. Перед коммерческим использованием проверьте условия базовой модели и датасета.
+Код проекта распространяется по лицензии MIT.

config.json

@@ -0,0 +1,53 @@
+{
+  "add_cross_attention": false,
+  "architectures": [
+    "BertForTokenClassification"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": null,
+  "classifier_dropout": null,
+  "directionality": "bidi",
+  "dtype": "float32",
+  "eos_token_id": null,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "id2label": {
+    "0": "O",
+    "1": "B-PER",
+    "2": "I-PER",
+    "3": "B-LOC",
+    "4": "I-LOC",
+    "5": "B-ORG",
+    "6": "I-ORG"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "is_decoder": false,
+  "label2id": {
+    "B-LOC": 3,
+    "B-ORG": 5,
+    "B-PER": 1,
+    "I-LOC": 4,
+    "I-ORG": 6,
+    "I-PER": 2,
+    "O": 0
+  },
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "bert",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "output_past": true,
+  "pad_token_id": 0,
+  "pooler_fc_size": 768,
+  "pooler_num_attention_heads": 12,
+  "pooler_num_fc_layers": 3,
+  "pooler_size_per_head": 128,
+  "pooler_type": "first_token_transform",
+  "tie_word_embeddings": true,
+  "transformers_version": "5.19.0",
+  "type_vocab_size": 2,
+  "use_cache": false,
+  "vocab_size": 119547
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:52fca835f37088bc38692ea008fca706e0f055213cb82cf6ca12ef662d952695
+size 709096284

onnx/model_int8.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:483b07b9b12ad9daad882d2ef5dc795258c3a76846ed77e70b7d5df36bb3f50a
+size 178166158

tokenizer_config.json

@@ -0,0 +1,15 @@
+{
+  "backend": "tokenizers",
+  "cls_token": "[CLS]",
+  "do_lower_case": false,
+  "is_local": false,
+  "local_files_only": false,
+  "mask_token": "[MASK]",
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "unk_token": "[UNK]"
+}