Initial Bashkir LID release

META.json

@@ -0,0 +1,14 @@
+{
+  "id": "bashkir_lid",
+  "version": "v3",
+  "type": "language_identification",
+  "classes": ["ba", "ru"],
+  "artifacts": ["model.onnx", "vectorizer.json"],
+  "features": 100000,
+  "input_contract": "Unicode char_wb adapter; padded feature_ids and counts tensors",
+  "source_texts_distributed": false,
+  "sha256": {
+    "model.onnx": "9ddfdecf5679393da8943dc7b732ea937b5eaf4bfff2071c431cc7f9d1a0586f",
+    "vectorizer.json": "0413814d379b4e3c50fd324e5d87999642a9f267640bec9d5bd651a6f948cc38"
+  }
+}

README.md

@@ -0,0 +1,60 @@
+---
+language: [ba, ru]
+license: apache-2.0
+library_name: onnxruntime
+tags:
+  - bashkir
+  - language-identification
+  - text-classification
+  - onnx
+---
+
+# Bashkir LID
+
+Компактная модель для определения того, является ли короткий текст
+башкирским или русским. Модель ориентирована на фильтрацию башкирских
+корпусов и локальные приложения, где важны скорость и небольшой размер.
+
+## Использование
+
+```python
+from lid import LanguageIdentifier
+
+lid = LanguageIdentifier()
+print(lid.predict(["Мин башҡорт телен яратам."]))
+```
+
+Для запуска требуется `onnxruntime` и `numpy`.
+
+## Модель
+
+Используются символьные n-граммы TF-IDF (`char_wb`, 2–4) и линейный
+классификатор, экспортированный в ONNX. Веса и словарь признаков поставляются
+в репозитории; исходные тренировочные тексты не распространяются.
+
+## Ограничения
+
+Модель бинарная: `ba` против `ru`. Она не предназначена для надёжного
+различения татарского, чувашского и других языков. Для многоязычного шлюза
+используйте отдельную LID-модель. Короткие строки, имена, OCR и смешанный текст
+могут классифицироваться неоднозначно.
+
+## Лицензия и происхождение
+
+Код и экспорт модели распространяются под Apache-2.0. Тренировочные тексты
+остаются в исходном проекте и не включены в этот репозиторий. Если отдельный
+источник имеет более строгие условия, применяются условия этого источника.
+
+## Цитирование
+
+```bibtex
+@software{failed09_bashkir_lid,
+  title = {Bashkir LID},
+  author = {failed09},
+  year = {2026},
+  publisher = {Hugging Face},
+  url = {https://huggingface.co/failed09/bashkir-lid}
+}
+```
+
+Башҡорт теле өсөн эшләнгән асыҡ сығанаҡлы инструмент.

__init__.py

@@ -0,0 +1,5 @@
+"""Bashkir/Russian language identification."""
+
+from .lid import LanguageIdentifier
+
+__all__ = ["LanguageIdentifier"]

lid.py

@@ -0,0 +1,88 @@
+"""Portable Unicode char_wb preprocessing and sparse ONNX inference."""
+import hashlib
+import json
+import re
+from collections import Counter
+from pathlib import Path
+
+import numpy as np
+
+ROOT = Path(__file__).resolve().parent
+
+
+def sha256(path):
+    with open(path, "rb") as stream:
+        return hashlib.file_digest(stream, "sha256").hexdigest()
+
+
+def char_wb(text, ngram_range):
+    # Match sklearn's _char_wb_ngrams, including short-word handling.
+    text = re.sub(r"\s\s+", " ", text.lower())
+    for word in text.split():
+        word = " " + word + " "
+        for n in range(ngram_range[0], ngram_range[1] + 1):
+            offset = 0
+            yield word[offset:offset + n]
+            while offset + n < len(word):
+                offset += 1
+                yield word[offset:offset + n]
+            if offset == 0:
+                break
+
+
+class LanguageIdentifier:
+    def __init__(self, model_dir=None, batch_size=256):
+        import onnxruntime as ort
+
+        self.model_dir = Path(model_dir) if model_dir else ROOT / "model"
+        self.meta = json.loads((self.model_dir / "META.json").read_text(encoding="utf-8"))
+        for name in ("model.onnx", "vectorizer.json"):
+            digest = self.meta["sha256"][name]
+            if sha256(self.model_dir / name) != digest:
+                raise ValueError(f"LID artifact checksum mismatch: {name}")
+        cfg = json.loads((self.model_dir / "vectorizer.json").read_text(encoding="utf-8"))
+        self.vocabulary = cfg["vocabulary"]
+        self.ngram_range = cfg["ngram_range"]
+        self.classes = np.asarray(self.meta["classes"])
+        if set(self.classes) != {"ba", "ru"}:
+            raise ValueError("Expected BA/RU model")
+        if batch_size < 1:
+            raise ValueError("batch_size must be positive")
+        self.batch_size = batch_size
+        options = ort.SessionOptions()
+        options.intra_op_num_threads = 1
+        self.session = ort.InferenceSession(str(self.model_dir / "model.onnx"), options,
+                                            providers=["CPUExecutionProvider"])
+
+    def features(self, texts):
+        rows = []
+        for text in texts:
+            if not isinstance(text, str):
+                raise TypeError("LID input must contain strings")
+            counts = Counter(self.vocabulary[g] for g in char_wb(text, self.ngram_range)
+                             if g in self.vocabulary)
+            rows.append(counts)
+        width = max(1, max(map(len, rows), default=0))
+        ids = np.zeros((len(rows), width), dtype=np.int64)
+        counts = np.zeros((len(rows), width), dtype=np.float32)
+        for i, row in enumerate(rows):
+            if row:
+                ids[i, :len(row)] = list(row)
+                counts[i, :len(row)] = list(row.values())
+        return {"feature_ids": ids, "counts": counts}
+
+    def predict_proba(self, texts):
+        texts = list(texts)
+        results = []
+        for start in range(0, len(texts), self.batch_size):
+            results.append(self.session.run(["probabilities"],
+                           self.features(texts[start:start + self.batch_size]))[0])
+        return np.concatenate(results) if results else np.empty((0, 2), dtype=np.float32)
+
+    def predict(self, texts):
+        return self.classes[self.predict_proba(texts).argmax(axis=1)]
+
+    def describe(self):
+        return {"name": self.meta["id"], "version": self.meta["version"],
+                "sha256": self.meta["sha256"], "backend": "onnxruntime",
+                "decision_rule": "argmax probabilities; classes ordered as in model passport"}

model.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9ddfdecf5679393da8943dc7b732ea937b5eaf4bfff2071c431cc7f9d1a0586f
+size 800928