Update README.md

README.md

@@ -1,55 +1,169 @@
 ---
+license: mit
+library_name: transformers
+pipeline_tag: text-generation
 language:
 - ru
-license: mit
 tags:
-- text-generation
 - llama
 - russian
-- instruct
 - small-language-model
 - sovereign-ai
-- chat
-pipeline_tag: text-generation
-widget:
-- text: "<|юзер|>\nПривет! Кто ты?\n<|юзерзакончил|>\n<|я_начал|>\n"
-  example_title: "Приветствие"
-- text: "<|юзер|>\nКто такой слон?\n<|юзерзакончил|>\n<|я_начал|>\n"
-  example_title: "Определение"
+- text-generation
+- instruct
 ---
 
-# 🇷🇺 Ru-Small-Instruct (0.2B) — Суверенная русскоязычная модель-инструктор
+# Ru-Small-Instruct (0.2B): Sovereign Lightweight Language Model
 
-**Ru-Small-Instruct** — это сверхлегкая, независимая русскоязычная языковая модель на архитектуре LLaMA (~0.2B параметров), обученная **с нуля (Zero-Fingerprint)** на локальном оборудовании без заимствования весов у чужих корпоративных моделей.
+<!-- markdownlint-disable first-line-h1 -->
+<!-- markdownlint-disable html -->
+<!-- markdownlint-disable no-duplicate-header -->
 
-Модель прошла полный цикл разработки: обучение собственного BPE-токенизатора, фундаментальное чтение открытых русскоязычных энциклопедий и новостей (Pre-training) и диалоговая огранка на решение задач (Instruction Tuning / SFT).
+<div align="center">
+  <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 900 240" width="85%" style="border-radius: 18px; box-shadow: 0 12px 36px rgba(0,0,0,0.35);">
+    <defs>
+      <linearGradient id="bgGrad" x1="0%" y1="0%" x2="100%" y2="100%">
+        <stop offset="0%" stop-color="#0b0f19" />
+        <stop offset="50%" stop-color="#111827" />
+        <stop offset="100%" stop-color="#030712" />
+      </linearGradient>
+      <linearGradient id="accentGrad" x1="0%" y1="0%" x2="100%" y2="0%">
+        <stop offset="0%" stop-color="#38bdf8" />
+        <stop offset="50%" stop-color="#818cf8" />
+        <stop offset="100%" stop-color="#c084fc" />
+      </linearGradient>
+      <linearGradient id="glowGrad" x1="0%" y1="100%" x2="100%" y2="0%">
+        <stop offset="0%" stop-color="#3b82f6" stop-opacity="0.2" />
+        <stop offset="100%" stop-color="#8b5cf6" stop-opacity="0.0" />
+      </linearGradient>
+    </defs>
+    
+    <rect width="900" height="240" fill="url(#bgGrad)" rx="18" />
+    <rect width="900" height="240" fill="url(#glowGrad)" rx="18" />
+    
+    <!-- Сетка нейросети -->
+    <g opacity="0.12" stroke="#38bdf8" stroke-width="1.2">
+      <line x1="120" y1="40" x2="200" y2="100" />
+      <line x1="200" y1="100" x2="140" y2="180" />
+      <line x1="200" y1="100" x2="280" y2="80" />
+      <line x1="280" y1="80" x2="360" y2="150" />
+      <line x1="720" y1="50" x2="780" y2="120" />
+      <line x1="780" y1="120" x2="840" y2="70" />
+      <line x1="780" y1="120" x2="810" y2="190" />
+      <circle cx="120" cy="40" r="4" fill="#38bdf8" />
+      <circle cx="200" cy="100" r="5" fill="#818cf8" />
+      <circle cx="140" cy="180" r="4" fill="#38bdf8" />
+      <circle cx="280" cy="80" r="4" fill="#c084fc" />
+      <circle cx="780" cy="120" r="5" fill="#38bdf8" />
+    </g>
 
-🌐 **Официальный сайт автора и проекта:** [https://long-time.ru](https://long-time.ru)
+    <!-- Заголовок -->
+    <text x="450" y="96" text-anchor="middle" font-family="-apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, sans-serif" font-size="44" font-weight="800" fill="url(#accentGrad)" letter-spacing="1.5">
+      Ru-Small-Instruct
+    </text>
+    
+    <!-- Подзаголовок -->
+    <text x="450" y="142" text-anchor="middle" font-family="-apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, sans-serif" font-size="18" font-weight="500" fill="#94a3b8" letter-spacing="3">
+      0.2B ZERO-FINGERPRINT SOVEREIGN LANGUAGE MODEL
+    </text>
 
----
+    <!-- Бейджики внутри баннера -->
+    <g transform="translate(290, 172)">
+      <rect x="0" y="0" width="90" height="28" rx="6" fill="#1e293b" stroke="#334155" stroke-width="1"/>
+      <text x="45" y="18" text-anchor="middle" font-family="sans-serif" font-size="12" font-weight="600" fill="#38bdf8">LLaMA 0.2B</text>
 
-## ⚙️ Характеристики Ru-Small-Instruct
+      <rect x="104" y="0" width="105" height="28" rx="6" fill="#1e293b" stroke="#334155" stroke-width="1"/>
+      <text x="156.5" y="18" text-anchor="middle" font-family="sans-serif" font-size="12" font-weight="600" fill="#818cf8">Context 512</text>
 
-* **Название модели:** Ru-Small-Instruct
-* **Архитектура:** LLaMA (`LlamaForCausalLM`)
-* **Количество параметров:** ~165M – 200M (~0.2B по классификации Hugging Face)
-* **Размер словаря (Vocab):** 28 672 токена (кастомный BPE ByteLevel для чистого русского языка)
-* **Контекстное окно:** 450–512 токенов
-* **Тип данных:** `bfloat16` / `float16`
-* **Нативные управляющие теги диалога:**
-  * `<|юзер|>` — начало реплики пользователя
-  * `<|юзерзакончил|>` — завершение реплики пользователя
-  * `<|я_начал|>` — начало ответа модели
-  * `<|я_закончил|>` — системный маркер завершения генерации (EOS)
+      <rect x="223" y="0" width="95" height="28" rx="6" fill="#1e293b" stroke="#334155" stroke-width="1"/>
+      <text x="270.5" y="18" text-anchor="middle" font-family="sans-serif" font-size="12" font-weight="600" fill="#34d399">Pure Russian</text>
+    </g>
+  </svg>
+</div>
 
----
+<hr>
+
+<div align="center" style="line-height: 1;">
+  <a href="https://long-time.ru" target="_blank" style="margin: 2px;">
+    <img alt="Homepage" src="https://img.shields.io/badge/🌐%20Website-long--time.ru-0284c7?color=0284c7&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
+  </a>
+  <a href="https://huggingface.co/models?search=Ru-Small-Instruct" target="_blank" style="margin: 2px;">
+    <img alt="Hugging Face" src="https://img.shields.io/badge/🤗%20Hugging%20Face-Ru--Small--Instruct-ffc107?color=ffc107&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
+  </a>
+  <a href="LICENSE" style="margin: 2px;">
+    <img alt="License" src="https://img.shields.io/badge/License-MIT-10b981?color=10b981&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
+  </a>
+</div>
+
+<p align="center">
+  <a href="https://long-time.ru"><b>Project Home & Development Details</b> 🚀</a>
+</p>
+
+## Introduction
+
+**Ru-Small-Instruct** — компактная русскоязычная модель класса **SLM (Small Language Model)** с объемом параметров ~0.2B (~165M). Разработана с упором на суверенность весов (Zero-Fingerprint): модель обучена с нуля без заимствования базовых чекпоинтов у корпоративных моделей (Llama 3, Qwen, Mistral). 
+
+Модель предназначена для локального исполнения на маломощном оборудовании, CPU, мобильных чипах и в микросервисной архитектуре, где критичны нулевая задержка (Time-To-First-Token) и отсутствие лицензионных ограничений.
+
+**Архитектура и характеристики:**
+* **Архитектурный базис:** модифицированная авторегрессионная архитектура LLaMA (`LlamaForCausalLM`).
+* **Параметризация:** 16 слоев внимания, скрытый размер `hidden_size = 896`, промежуточный слой `intermediate_size = 2560`, 14 attention-голов (Grouped Query Attention с 2 KV-головами для экономии VRAM).
+* **Словарь и токенизация:** чистый BPE ByteLevel токенизатор на **28 672 токена**, обученный с нуля на репрезентативном русском корпусе.
+* **Потребление ресурсов:** полный вес модели в `bfloat16` составляет **~330 МБ**, потребление видеопамяти при инференсе — **< 500 МБ VRAM**.
+
+## Architecture & Specifications
+
+<div align="center">
+
+| Спецификация | Значение | Описание |
+| :--- | :---: | :--- |
+| **Backbone Parameters** | ~165M – 200M | ~0.2B по каталогу Hugging Face |
+| **Hidden Dimension ($d_{model}$)** | 896 | Размер латентного пространства |
+| **Intermediate Dimension ($d_{ff}$)** | 2560 | Размерность слоев SwiGLU MLP |
+| **Layers** | 16 | Глубина трансформерных блоков |
+| **Attention Heads (Q / KV)** | 14 / 2 | Grouped-Query Attention (GQA) |
+| **Context Length** | 512 | Окно внимания с поддержкой RoPE |
+| **Vocab Size** | 28 672 | Чистый русский ByteLevel BPE |
+| **Native Precision** | `bfloat16` / `float16` | Базовый формат хранения |
+| **Special Chat Tags** | Custom Cyrillic | Нативная разметка без утечек английских токенов |
+
+</div>
+
+## Training Recipe
+
+### 1. Pre-training (Фундаментальное чтение)
+Модель прошла фундаментальное обучение с нуля на сбалансированном русскоязычном корпусе:
+* **Энциклопедический блок:** срез русской Википедии (животные, естественные науки, география, история, космос).
+* **Связанная речь и аналитика:** очищенные новостные тексты открытого корпуса «Газета».
+* **Упаковка данных:** потоковая конкатенация токенов (Data Packing) с удалением паразитных паддингов.
+
+### 2. SFT & Alignment (Инструкционная доводка)
+Для предотвращения галлюцинаций и сохранения фактологии проведена диалоговая огранка (Instruction Tuning) с маскированием пользовательского ввода:
+* **Инвариантность к регистру:** устойчивость к строчным и заглавным запросам (`привет`, `Привет`, `ПРИВЕТ`).
+* **Фактологическое якорение:** очистка от ложных ассоциаций (биологическая классификация, термины информатики).
+* **Нативный диалоговый протокол:** управляющие маркеры `<|юзер|>`, `<|юзерзакончил|>`, `<|я_начал|>`, `<|я_закончил|>`.
+
+## Benchmark & Performance
+
+Оценка производительности на локальном оборудовании (NVIDIA GeForce RTX, FP16/BF16):
+
+<div align="center">
+
+| Метрика | Значение |
+| :--- | :---: |
+| **Generation Speed (RTX Laptop / Desktop)** | **180 – 210 t/s** |
+| **Memory Footprint (Inference)** | **~380 – 490 MB** |
+| **Cold Start Time** | **< 0.15 s** |
+| **Supported Hardware** | CUDA, Apple Silicon (MPS), CPU, Edge |
+
+</div>
 
-## 💬 Формат диалога (Chat Template)
+## Prompt Encoding
 
-Для получения корректных и связных ответов подавайте запрос с переносами строк `\n` вокруг тегов:
+Для получения точных и связных ответов структурируйте промпт с переносами строк:
 
 ```text
 <|юзер|>
-Ваш вопрос или задача
+Кто такой слон?
 <|юзерзакончил|>
 <|я_начал|>