Update README.md

README.md

@@ -1,5 +1,145 @@
+
 ---
+language:
+- ru
 license: mit
+library_name: transformers
+pipeline_tag: text-generation
+tags:
+- text-generation
+- chat
+- russian
+- transformer
+- pytorch
+- easyformer
+- custom_code
+- conversational
+datasets:
+- custom
+model_type: transformer
+base_model: OpenRussianAI/andrey
 ---
 
-Модель сделана на базе моего трансформера EasyFormer
+# Andrey — EasyFormer 1M
+
+Лёгкий русскоязычный чат-бот на архитектуре EasyFormer.
+Упрощённый decoder-only Transformer, ~1.5M параметров.
+
+## О модели
+
+Andrey — компактный русскоязычный чат-бот на собственной архитектуре EasyFormer.
+Снаружи — классический decoder-only Transformer, внутри — упрощения для скорости:
+single-head attention, RMSNorm, FFN×2, weight tying.
+
+Модель обучается за минуты на CPU, помещается в 6 MB, работает на любом устройстве.
+
+## Архитектура
+
+| Параметр | Значение |
+|---|---|
+| Тип | decoder-only Transformer |
+| Параметров | ~1.5M |
+| Слоёв | 5 |
+| d_model | 192 |
+| Голов | 1 (single-head) |
+| FFN | ×2, ReLU |
+| Нормализация | RMSNorm |
+| Контекст | 128 токенов |
+| Токенизатор | char-level, 64 символа |
+| Weight tying | lm_head ↔ tok_emb |
+
+## Быстрый старт
+
+```bash
+pip install transformers torch huggingface_hub
+```
+
+```python
+import json, torch
+from transformers import AutoModelForCausalLM
+from huggingface_hub import hf_hub_download
+
+REPO = "OpenRussianAI/andrey"
+
+model = AutoModelForCausalLM.from_pretrained(
+    REPO,
+    trust_remote_code=True,
+    dtype=torch.float32,
+).eval()
+
+d = json.load(open(hf_hub_download(REPO, "tokenizer.json"), encoding="utf-8"))
+stoi, itos = d["stoi"], {int(k): v for k, v in d["itos"].items()}
+enc = lambda s: [stoi[c] for c in s if c in stoi]
+dec = lambda ids: "".join(itos[i] for i in ids)
+
+def ask(q, max_new=40, temp=0.6, top_k=20):
+    ids = torch.tensor([enc(f"User: {q}\nBot:")], dtype=torch.long)
+    out = model.generate(ids, max_new_tokens=max_new, do_sample=True,
+                         temperature=temp, top_k=top_k)
+    text = dec(out[0].tolist())
+    return text.split("Bot:", 1)[-1].split("User:", 1)[0].strip()
+
+print(ask("привет"))
+```
+
+## Примеры диалогов
+
+```
+User: привет
+Bot:  привет, рад тебя видеть
+
+User: как дела
+Bot:  хорошо, готов помочь
+
+User: кто ты
+Bot:  я лёгкий чат-бот на EasyFormer
+
+User: что умеешь
+Bot:  поддерживать простой разговор
+
+User: ты работаешь на цп
+Bot:  да, я работаю на процессоре
+
+User: сколько у тебя параметров
+Bot:  около миллиона
+
+User: пока
+Bot:  до встречи
+```
+
+## Обучение
+
+| Параметр | Значение |
+|---|---|
+| Диалогов | 162 |
+| Токенов | ~7 000 |
+| Эпох | 100 |
+| Батч | 32 |
+| Оптимизатор | AdamW, lr=3e-3 |
+| Устройство | Tesla T4 (CUDA) |
+| Время | ~8.5 минут |
+| Финальный loss | 0.056 |
+
+## Структура репо
+
+```
+OpenRussianAI/andrey/
+├── README.md
+├── config.json
+├── configuration_easyformer.py
+├── modeling_easyformer.py
+├── pytorch_model.bin
+└── tokenizer.json
+```
+
+## Ограничения
+
+- Шаблонные ответы — модель знает только 162 фразы из датасета.
+- Char-level — возможны опечатки на незнакомых словах.
+- Не умеет: считать, переводить, писать код, рассуждать.
+- Контекст 128 токенов — помнит только последнюю реплику.
+- Нет истории — каждый запрос независим.
+
+## Лицензия
+
+MIT