Initial release: model, tokenizer, card

README.md

@@ -0,0 +1,173 @@
+---
+language:
+  - en
+  - ru
+license: apache-2.0
+library_name: transformers
+pipeline_tag: text-generation
+pretty_name: LissaNano
+tags:
+  - text-generation
+  - llama
+  - my-little-pony
+  - mlp
+  - roleplay
+  - rp
+  - character
+  - fanfiction
+  - small-language-model
+  - tiny
+  - edge-deployment
+  - from-scratch
+  - lissa
+widget:
+  - text: "<system>You are Twilight Sparkle, a studious purple unicorn who loves books.<user>Twilight, I found a strange book in the library.<assistant>"
+    example_title: Twilight Sparkle
+  - text: "<system>You are Rainbow Dash, a brash and boastful pegasus who loves speed.<user>Rainbow, are you scared of thunderstorms?<assistant>"
+    example_title: Rainbow Dash
+  - text: "<system>You are Fluttershy, a shy pegasus who cares for animals.<user>Fluttershy, a bird hurt its wing in my garden.<assistant>"
+    example_title: Fluttershy
+model_card_authors:
+  - CastIronMind
+model-index:
+  - name: LissaNano
+    results:
+      - task:
+          type: text-generation
+        dataset:
+          name: Pony domain eval (Fimfarchive, frozen, ~10M tokens)
+          type: text
+        metrics:
+          - name: Perplexity
+            type: perplexity
+            value: 31.88
+          - name: Bits per character
+            type: bpc
+            value: 1.2091
+---
+
+<div align="center">
+
+# 🦄 LissaNano
+
+![License](https://img.shields.io/badge/license-Apache%202.0-blue.svg)
+![Model Size](https://img.shields.io/badge/parameters-32M-green.svg)
+![Architecture](https://img.shields.io/badge/architecture-Llama%20from%20scratch-orange.svg)
+![Context](https://img.shields.io/badge/context-1024%20tokens-purple.svg)
+![Vocab](https://img.shields.io/badge/vocab-16384-blue.svg)
+![PPL](https://img.shields.io/badge/PPL-31.88-brightgreen.svg)
+![Size on disk](https://img.shields.io/badge/weights-64%20MB-lightgrey.svg)
+
+[![Hugging Face](https://img.shields.io/badge/%F0%9F%A4%97-CastIronMind-yellow.svg)](https://huggingface.co/CastIronMind)
+
+</div>
+
+> ✨ **Самая маленькая RP-модель по My Little Pony, которую мы смогли найти.** 32 миллиона параметров. 64 мегабайта весов. Запускается на телефоне, на Raspberry Pi и на ноутбуке без видеокарты.
+
+> 🧠 **Обучена с нуля, а не урезана из чужой.** Архитектура Llama, словарь 16 384 токена, контекст 1024. Ни одного заимствованного веса: сначала предобучение на фандомном корпусе, потом дообучение на ролёвых диалогах.
+
+---
+
+## Что это
+
+**LissaNano** — младшая модель семейства [Lissa](https://huggingface.co/CastIronMind). Она умеет одно, зато честно: держать персонажа и отвечать в его голосе.
+
+Это не ассистент. Она не ответит на вопрос про капитал Франции и не напишет код. Она нужна для другого — чтобы Twilight Sparkle снова заговорила как Twilight Sparkle.
+
+**Что она делает хорошо:**
+- держит заданную персону и узнаваемый голос персонажа
+- знает лор: Понивилль, Эквестрия, Пегас, Селестия, кьютимарки
+- пишет от первого лица, с действиями в `*звёздочках*`
+- работает там, где большие модели не запустятся вообще
+
+---
+
+## Семейство Lissa
+
+| модель | параметров | весов | для чего |
+|---|---:|---:|---|
+| **LissaNano** | 32M | 64 МБ | телефон, микрокомпьютер, игрушки, встраивание |
+| [LissaBrat](https://huggingface.co/CastIronMind/LissaBrat) | 103M | 206 МБ | ноутбук, лучший связный текст |
+| [Lissa 1.5B](https://huggingface.co/CastIronMind/Lissa-1.5B-Instruct) | 1.45B | 2.9 ГБ | полноценный ролёвый партнёр |
+
+---
+
+## Быстрый старт
+
+```python
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+model_id = "CastIronMind/LissaNano"
+tok = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16)
+model.eval()
+
+SYS, USR, AST, EOS = 2, 3, 4, 1
+
+system = "You are Twilight Sparkle, a studious purple unicorn who loves books."
+user = "Twilight, I found a strange book in the library."
+
+ids = [SYS] + tok.encode(system, add_special_tokens=False) \
+    + [USR] + tok.encode(user, add_special_tokens=False) + [AST]
+x = torch.tensor([ids], dtype=torch.long)
+
+out = model.generate(x, max_new_tokens=120, do_sample=True,
+                     temperature=0.8, top_p=0.9, repetition_penalty=1.1,
+                     pad_token_id=0, eos_token_id=EOS)
+print(tok.decode(out[0][len(ids):], skip_special_tokens=True))
+```
+
+**Формат промпта.** Ровно такой, на котором модель училась:
+
+```
+<system>{персона}<user>{реплика}<assistant>{ответ}<eos>
+```
+
+Спецтокены: `0 <pad>`, `1 <eos>`, `2 <system>`, `3 <user>`, `4 <assistant>`.
+
+**Настройки генерации.** `temperature 0.8`, `top_p 0.9`, `repetition_penalty 1.1`. Температуру выше 1.0 лучше не поднимать — модель маленькая и начинает петлять.
+
+---
+
+## Данные
+
+Предобучение: фандомная проза и форумы по My Little Pony — около **1 млрд уникальных токенов** (2 эпохи).
+
+Дообучение: **104 732** диалога из общего микса, затем **84 681** диалог только из ролёвых и персональных подмножеств — две эпохи на финальной стадии.
+
+Оценка качества: фиксированный набор из 313 текстов Fimfarchive, ~10 млн токенов, не пересекается с обучением.
+
+| метрика | значение |
+|---|---:|
+| Perplexity | **31.88** |
+| Bits per character | **1.2091** |
+
+---
+
+## Железо и цена
+
+| | |
+|---|---|
+| Обучение | одна потребительская видеокарта |
+| Автор | один человек |
+| Лицензия | Apache 2.0 |
+| Вес | 64 МБ в bf16 |
+
+Никаких кластеров, никаких спонсоров. Модель собрана целиком и полностью руками.
+
+---
+
+## Для чего использовать
+
+- ролёвые боты и персонажи в чатах
+- встраиваемые приложения: игры, визуальные новеллы, тамагочи
+- эксперименты с маленькими языковыми моделями
+- обучение: живой пример полного цикла «с нуля до чат-модели» на одном GPU
+- дальнейший файнтюн под своего персонажа — 32M дообучается за минуты
+
+---
+
+## Лицензия
+
+Apache 2.0. Берите, дообучайте, квантуйте, встраивайте, публикуйте свои версии.

config.json

@@ -0,0 +1,32 @@
+{
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 1,
+  "dtype": "bfloat16",
+  "eos_token_id": 1,
+  "head_dim": 32,
+  "hidden_act": "silu",
+  "hidden_size": 512,
+  "initializer_range": 0.02,
+  "intermediate_size": 1536,
+  "max_position_embeddings": 1024,
+  "mlp_bias": false,
+  "model_type": "llama",
+  "num_attention_heads": 16,
+  "num_hidden_layers": 8,
+  "num_key_value_heads": 2,
+  "pad_token_id": 0,
+  "pretraining_tp": 1,
+  "rms_norm_eps": 1e-06,
+  "rope_parameters": {
+    "rope_theta": 10000.0,
+    "rope_type": "default"
+  },
+  "tie_word_embeddings": true,
+  "transformers_version": "5.16.1",
+  "use_cache": false,
+  "vocab_size": 16384
+}

generation_config.json

@@ -0,0 +1,8 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 1,
+  "eos_token_id": 1,
+  "pad_token_id": 0,
+  "transformers_version": "5.16.1",
+  "use_cache": true
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f78f3ba85928dc73affe781c65a9b0c792efd4531661251c807c01b147c5bfb9
+size 63988672

special_tokens_map.json

@@ -0,0 +1,5 @@
+{
+  "pad_token": "<pad>",
+  "eos_token": "<eos>",
+  "bos_token": "<eos>"
+}

tokenizer_config.json

@@ -0,0 +1,52 @@
+{
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "model_max_length": 1024,
+  "padding_side": "right",
+  "truncation_side": "right",
+  "pad_token": "<pad>",
+  "eos_token": "<eos>",
+  "bos_token": "<eos>",
+  "clean_up_tokenization_spaces": false,
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<eos>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "<system>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<user>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "<assistant>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  }
+}