Upload folder using huggingface_hub
Browse files- .gitattributes +3 -34
- README.md +101 -0
- config.json +16 -0
- generate.py +25 -0
- generation_config.json +7 -0
- model.py +79 -0
- model.safetensors +3 -0
- tokenizer.json +0 -0
- tokenizer_config.json +5 -0
.gitattributes
CHANGED
|
@@ -1,35 +1,4 @@
|
|
| 1 |
-
*.7z filter=lfs diff=lfs merge=lfs -text
|
| 2 |
-
*.arrow filter=lfs diff=lfs merge=lfs -text
|
| 3 |
-
*.bin filter=lfs diff=lfs merge=lfs -text
|
| 4 |
-
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
| 5 |
-
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
| 6 |
-
*.ftz filter=lfs diff=lfs merge=lfs -text
|
| 7 |
-
*.gz filter=lfs diff=lfs merge=lfs -text
|
| 8 |
-
*.h5 filter=lfs diff=lfs merge=lfs -text
|
| 9 |
-
*.joblib filter=lfs diff=lfs merge=lfs -text
|
| 10 |
-
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
| 11 |
-
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
| 12 |
-
*.model filter=lfs diff=lfs merge=lfs -text
|
| 13 |
-
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
| 14 |
-
*.npy filter=lfs diff=lfs merge=lfs -text
|
| 15 |
-
*.npz filter=lfs diff=lfs merge=lfs -text
|
| 16 |
-
*.onnx filter=lfs diff=lfs merge=lfs -text
|
| 17 |
-
*.ot filter=lfs diff=lfs merge=lfs -text
|
| 18 |
-
*.parquet filter=lfs diff=lfs merge=lfs -text
|
| 19 |
-
*.pb filter=lfs diff=lfs merge=lfs -text
|
| 20 |
-
*.pickle filter=lfs diff=lfs merge=lfs -text
|
| 21 |
-
*.pkl filter=lfs diff=lfs merge=lfs -text
|
| 22 |
-
*.pt filter=lfs diff=lfs merge=lfs -text
|
| 23 |
-
*.pth filter=lfs diff=lfs merge=lfs -text
|
| 24 |
-
*.rar filter=lfs diff=lfs merge=lfs -text
|
| 25 |
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
| 26 |
-
|
| 27 |
-
*.
|
| 28 |
-
|
| 29 |
-
*.tflite filter=lfs diff=lfs merge=lfs -text
|
| 30 |
-
*.tgz filter=lfs diff=lfs merge=lfs -text
|
| 31 |
-
*.wasm filter=lfs diff=lfs merge=lfs -text
|
| 32 |
-
*.xz filter=lfs diff=lfs merge=lfs -text
|
| 33 |
-
*.zip filter=lfs diff=lfs merge=lfs -text
|
| 34 |
-
*.zst filter=lfs diff=lfs merge=lfs -text
|
| 35 |
-
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
| 2 |
+
*.pt filter=lfs diff=lfs merge=lfs -text
|
| 3 |
+
*.bin filter=lfs diff=lfs merge=lfs -text
|
| 4 |
+
tokenizer.json filter=lfs diff=lfs merge=lfs -text
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
README.md
CHANGED
|
@@ -1,3 +1,104 @@
|
|
| 1 |
---
|
| 2 |
license: apache-2.0
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 3 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
---
|
| 2 |
license: apache-2.0
|
| 3 |
+
library_name: pytorch
|
| 4 |
+
pipeline_tag: text-generation
|
| 5 |
+
tags:
|
| 6 |
+
- gpt
|
| 7 |
+
- from-scratch
|
| 8 |
+
- russian
|
| 9 |
+
- small-language-model
|
| 10 |
+
language:
|
| 11 |
+
- ru
|
| 12 |
+
datasets:
|
| 13 |
+
- HuggingFaceFW/fineweb-2
|
| 14 |
---
|
| 15 |
+
|
| 16 |
+
# Kit-89M
|
| 17 |
+
|
| 18 |
+
**Kit** — семейство лёгких и быстрых моделей [SableAI](#о-проекте) в системе **Axon**. Это первая модель семейства: небольшая русскоязычная языковая модель (GPT, 89M параметров), обученная **с нуля** на одной домашней видеокарте с 6 ГБ памяти. Веса не взяты ни у какой другой модели.
|
| 19 |
+
|
| 20 |
+
**Это базовая модель, а не чат-бот.** Она продолжает текст, а не отвечает на вопросы. Она маленькая и обучена на небольшом корпусе, поэтому часто ошибается в фактах и теряет мысль. Не используйте её там, где нужна надёжность.
|
| 21 |
+
|
| 22 |
+
В transformers и vLLM она не загрузится: архитектура собственная. Код модели лежит рядом (`model.py`), запуск описан ниже.
|
| 23 |
+
|
| 24 |
+
## О проекте
|
| 25 |
+
|
| 26 |
+
**SableAI** (sable — соболь) — компания, **Axon** — её ИИ-система (нейрон, связь, инженерия). Модели Axon названы по животным семейства куньих и выстроены от простого к сложному:
|
| 27 |
+
|
| 28 |
+
| Модель | Для чего | Статус |
|
| 29 |
+
|---|---|---|
|
| 30 |
+
| **Kit** | простые и мгновенные задачи: лёгкая и быстрая, как детёныш соболя | первая модель выпущена (Kit-89M, эта страница) |
|
| 31 |
+
| **Stout** | офисная работа и программирование: крепкая, надёжная, рабочая | в планах |
|
| 32 |
+
| **Marten** | сложные аналитические задачи: умная и хитрая, как куница | в планах |
|
| 33 |
+
| **Fisher** | глубокий научный и творческий потенциал, флагман | в планах |
|
| 34 |
+
|
| 35 |
+
Kit — это семейство, а не одна модель: в него войдут версии разного размера и с разными языками. Kit-89M — стартовая точка, на которой отлаживаются данные, токенайзер и обучение. Дальнейшие планы: английский язык наравне с русским, затем другие языки и код. Всё это пока не реализовано, и у выпущенной модели этих возможностей нет.
|
| 36 |
+
|
| 37 |
+
## Характеристики
|
| 38 |
+
|
| 39 |
+
| | |
|
| 40 |
+
|---|---|
|
| 41 |
+
| параметры | 89.3M (веса токенов и выходного слоя общие) |
|
| 42 |
+
| слои / голова / размерность | 16 / 10 / 640 |
|
| 43 |
+
| контекст | 512 токенов |
|
| 44 |
+
| словарь | 16 000, byte-level BPE, обучен на том же корпусе |
|
| 45 |
+
| архитектура | decoder-only трансформер, LayerNorm, GELU, обучаемые позиции |
|
| 46 |
+
| формат весов | `model.safetensors`, fp16, около 180 МБ |
|
| 47 |
+
|
| 48 |
+
## Запуск
|
| 49 |
+
|
| 50 |
+
```bash
|
| 51 |
+
pip install torch tokenizers safetensors huggingface_hub
|
| 52 |
+
hf download SableAI-Dev/Axon-Kit --local-dir Axon-Kit
|
| 53 |
+
cd Axon-Kit
|
| 54 |
+
python generate.py model.safetensors "Москва — это" --tokens 150
|
| 55 |
+
```
|
| 56 |
+
|
| 57 |
+
Параметры генерации: `--temp` (по умолчанию 0.8), `--top_k` (40). Нужна видеокарта с CUDA. Один запуск занимает меньше 1 ГБ видеопамяти.
|
| 58 |
+
|
| 59 |
+
## Данные
|
| 60 |
+
|
| 61 |
+
Русский срез [FineWeb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) (`rus_Cyrl`): документы короче 300 символов отброшены, оставлено около 131M токенов. Последний 1% корпуса не участвует в обучении и используется для проверки. Дедупликации и дополнительной фильтрации сверх этого не было. Корпус собран из веб-страниц, поэтому модель может воспроизводить их смещения и ошибки.
|
| 62 |
+
|
| 63 |
+
## Обучение
|
| 64 |
+
|
| 65 |
+
| | |
|
| 66 |
+
|---|---|
|
| 67 |
+
| железо | одна NVIDIA RTX 2060 (6 ГБ), Intel Core i5-12400F, 32 ГБ ОЗУ |
|
| 68 |
+
| оптимизатор | AdamW, betas 0.9/0.95, weight decay 0.1 (только для матриц) |
|
| 69 |
+
| скорость обучения | 3e-4, прогрев 200 шагов, затем косинус до 3e-5 |
|
| 70 |
+
| батч | 64 последовательности по 512 токенов (8 × накопление 8), 32 768 токенов ��а шаг |
|
| 71 |
+
| точность | fp16 с автоматическим масштабированием потерь, обрезка градиента 1.0 |
|
| 72 |
+
| скорость | около 23 500 токенов в секунду |
|
| 73 |
+
| этапы | 14 000 шагов с батчем 8, затем 1 200 шагов (около 28 минут, примерно 39M токенов) с батчем 64 |
|
| 74 |
+
|
| 75 |
+
Чтобы не упираться в видеокарту, весь корпус держится в оперативной памяти, а батчи готовятся на процессоре в фоновых потоках, пока видеокарта считает.
|
| 76 |
+
|
| 77 |
+
## Качество
|
| 78 |
+
|
| 79 |
+
Val loss на отложенном 1% корпуса во время второго этапа:
|
| 80 |
+
|
| 81 |
+
| шаг | 250 | 500 | 750 | 1000 |
|
| 82 |
+
|---|---|---|---|---|
|
| 83 |
+
| val loss | 3.956 | 3.870 | 3.882 | 3.779 |
|
| 84 |
+
|
| 85 |
+
Значение шума в этих измерениях заметно (оценка по 40 батчам), поэтому небольшие колебания между точками не стоит считать трендом. Другие бенчмарки не запускались.
|
| 86 |
+
|
| 87 |
+
Примеры продолжения текста (температура 0.8, top-k 40):
|
| 88 |
+
|
| 89 |
+
> **Москва — это** Операция. Я думаю, что российская экономика, который стал для России, будет развиваться и на дорогах. И в целом, это будет очень непростая ситуация.
|
| 90 |
+
|
| 91 |
+
> **Для того чтобы** получить необходимые сведения, заполните их и нажмите Ctrl+Enter, чтобы сообщить нам, что для этого необходимо зарегистрироваться.
|
| 92 |
+
|
| 93 |
+
Текст грамматически похож на русский и стилистически на веб-страницы, но по смыслу бессвязен: ошибки в согласовании и фактах встречаются постоянно.
|
| 94 |
+
|
| 95 |
+
## Ограничения
|
| 96 |
+
|
| 97 |
+
- Только русский язык; на других языках модель почти бесполезна.
|
| 98 |
+
- Контекст 512 токенов.
|
| 99 |
+
- Нет дообучения на инструкциях и диалогах, нет фильтров безопасности.
|
| 100 |
+
- Обучена на ограниченном объёме данных (меньше нескольких эпох по 131M токенов), поэтому заметно недообучена.
|
| 101 |
+
|
| 102 |
+
## Лицензия
|
| 103 |
+
|
| 104 |
+
Код и веса под Apache 2.0. Обучающие данные собраны из FineWeb-2 (ODC-By 1.0) и сохраняют исходные условия.
|
config.json
ADDED
|
@@ -0,0 +1,16 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"architectures": [
|
| 3 |
+
"KitGPT"
|
| 4 |
+
],
|
| 5 |
+
"model_type": "kit",
|
| 6 |
+
"vocab_size": 16000,
|
| 7 |
+
"n_positions": 512,
|
| 8 |
+
"n_layer": 16,
|
| 9 |
+
"n_head": 10,
|
| 10 |
+
"n_embd": 640,
|
| 11 |
+
"activation": "gelu",
|
| 12 |
+
"norm": "layernorm",
|
| 13 |
+
"tie_word_embeddings": true,
|
| 14 |
+
"num_parameters": 89345280,
|
| 15 |
+
"torch_dtype": "float16"
|
| 16 |
+
}
|
generate.py
ADDED
|
@@ -0,0 +1,25 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
import argparse
|
| 2 |
+
import torch
|
| 3 |
+
from tokenizers import Tokenizer
|
| 4 |
+
|
| 5 |
+
from model import GPT, sample
|
| 6 |
+
|
| 7 |
+
ap = argparse.ArgumentParser()
|
| 8 |
+
ap.add_argument("ckpt", help="чекпоинт: kit_*.pt или last.pt")
|
| 9 |
+
ap.add_argument("prompt", nargs="?", default="Москва — это")
|
| 10 |
+
ap.add_argument("--tokens", type=int, default=150)
|
| 11 |
+
ap.add_argument("--temp", type=float, default=0.8)
|
| 12 |
+
ap.add_argument("--top_k", type=int, default=40)
|
| 13 |
+
args = ap.parse_args()
|
| 14 |
+
|
| 15 |
+
device = "cuda"
|
| 16 |
+
tok = Tokenizer.from_file("data/tokenizer.json")
|
| 17 |
+
model = GPT().to(device)
|
| 18 |
+
if args.ckpt.endswith(".safetensors"):
|
| 19 |
+
from safetensors.torch import load_file
|
| 20 |
+
# head.weight связан с tok_emb.weight и в файле отсутствует
|
| 21 |
+
model.load_state_dict({k: v.float() for k, v in load_file(args.ckpt).items()}, strict=False)
|
| 22 |
+
else:
|
| 23 |
+
sd = torch.load(args.ckpt, map_location=device)
|
| 24 |
+
model.load_state_dict(sd["model"] if "model" in sd else sd)
|
| 25 |
+
print(sample(model, tok, args.prompt, device, args.tokens, args.temp, args.top_k))
|
generation_config.json
ADDED
|
@@ -0,0 +1,7 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"do_sample": true,
|
| 3 |
+
"temperature": 0.8,
|
| 4 |
+
"top_k": 40,
|
| 5 |
+
"max_new_tokens": 150,
|
| 6 |
+
"eos_token_id": 0
|
| 7 |
+
}
|
model.py
ADDED
|
@@ -0,0 +1,79 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
import torch
|
| 2 |
+
import torch.nn as nn
|
| 3 |
+
import torch.nn.functional as F
|
| 4 |
+
|
| 5 |
+
VOCAB = 16000
|
| 6 |
+
CTX = 512
|
| 7 |
+
N_LAYER = 16
|
| 8 |
+
N_HEAD = 10
|
| 9 |
+
N_EMBD = 640
|
| 10 |
+
|
| 11 |
+
|
| 12 |
+
class Block(nn.Module):
|
| 13 |
+
def __init__(self):
|
| 14 |
+
super().__init__()
|
| 15 |
+
self.ln1 = nn.LayerNorm(N_EMBD)
|
| 16 |
+
self.qkv = nn.Linear(N_EMBD, 3 * N_EMBD)
|
| 17 |
+
self.proj = nn.Linear(N_EMBD, N_EMBD)
|
| 18 |
+
self.ln2 = nn.LayerNorm(N_EMBD)
|
| 19 |
+
self.fc = nn.Linear(N_EMBD, 4 * N_EMBD)
|
| 20 |
+
self.fc2 = nn.Linear(4 * N_EMBD, N_EMBD)
|
| 21 |
+
|
| 22 |
+
def forward(self, x):
|
| 23 |
+
B, T, C = x.shape
|
| 24 |
+
q, k, v = self.qkv(self.ln1(x)).split(C, dim=2)
|
| 25 |
+
q = q.view(B, T, N_HEAD, C // N_HEAD).transpose(1, 2)
|
| 26 |
+
k = k.view(B, T, N_HEAD, C // N_HEAD).transpose(1, 2)
|
| 27 |
+
v = v.view(B, T, N_HEAD, C // N_HEAD).transpose(1, 2)
|
| 28 |
+
y = F.scaled_dot_product_attention(q, k, v, is_causal=True)
|
| 29 |
+
y = y.transpose(1, 2).contiguous().view(B, T, C)
|
| 30 |
+
x = x + self.proj(y)
|
| 31 |
+
x = x + self.fc2(F.gelu(self.fc(self.ln2(x))))
|
| 32 |
+
return x
|
| 33 |
+
|
| 34 |
+
|
| 35 |
+
class GPT(nn.Module):
|
| 36 |
+
def __init__(self):
|
| 37 |
+
super().__init__()
|
| 38 |
+
self.tok_emb = nn.Embedding(VOCAB, N_EMBD)
|
| 39 |
+
self.pos_emb = nn.Embedding(CTX, N_EMBD)
|
| 40 |
+
self.blocks = nn.ModuleList([Block() for _ in range(N_LAYER)])
|
| 41 |
+
self.ln_f = nn.LayerNorm(N_EMBD)
|
| 42 |
+
self.head = nn.Linear(N_EMBD, VOCAB, bias=False)
|
| 43 |
+
self.head.weight = self.tok_emb.weight # связанные веса: экономим память
|
| 44 |
+
self.apply(self._init)
|
| 45 |
+
|
| 46 |
+
def _init(self, m):
|
| 47 |
+
if isinstance(m, (nn.Linear, nn.Embedding)):
|
| 48 |
+
nn.init.normal_(m.weight, std=0.02)
|
| 49 |
+
if isinstance(m, nn.Linear) and m.bias is not None:
|
| 50 |
+
nn.init.zeros_(m.bias)
|
| 51 |
+
|
| 52 |
+
def forward(self, idx, targets=None):
|
| 53 |
+
B, T = idx.shape
|
| 54 |
+
pos = torch.arange(T, device=idx.device)
|
| 55 |
+
x = self.tok_emb(idx) + self.pos_emb(pos)
|
| 56 |
+
for b in self.blocks:
|
| 57 |
+
x = b(x)
|
| 58 |
+
logits = self.head(self.ln_f(x))
|
| 59 |
+
loss = None
|
| 60 |
+
if targets is not None:
|
| 61 |
+
loss = F.cross_entropy(logits.float().view(-1, VOCAB), targets.view(-1))
|
| 62 |
+
return logits, loss
|
| 63 |
+
|
| 64 |
+
|
| 65 |
+
@torch.no_grad()
|
| 66 |
+
def sample(model, tok, prompt, device, max_new=120, temp=0.8, top_k=40):
|
| 67 |
+
was_training = model.training
|
| 68 |
+
model.eval()
|
| 69 |
+
idx = torch.tensor([tok.encode(prompt).ids], device=device)
|
| 70 |
+
for _ in range(max_new):
|
| 71 |
+
with torch.autocast("cuda", dtype=torch.float16):
|
| 72 |
+
logits, _ = model(idx[:, -CTX:])
|
| 73 |
+
logits = logits[:, -1, :].float() / temp
|
| 74 |
+
v, _ = torch.topk(logits, top_k)
|
| 75 |
+
logits[logits < v[:, [-1]]] = -float("inf")
|
| 76 |
+
nxt = torch.multinomial(F.softmax(logits, dim=-1), 1)
|
| 77 |
+
idx = torch.cat([idx, nxt], dim=1)
|
| 78 |
+
model.train(was_training)
|
| 79 |
+
return tok.decode(idx[0].tolist())
|
model.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:d642e0e4a0a6e3169411b03b6ce1bd7db3e777fcf012854f07bff7c6d46f81be
|
| 3 |
+
size 178707960
|
tokenizer.json
ADDED
|
The diff for this file is too large to render.
See raw diff
|
|
|
tokenizer_config.json
ADDED
|
@@ -0,0 +1,5 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"tokenizer_class": "PreTrainedTokenizerFast",
|
| 3 |
+
"model_max_length": 512,
|
| 4 |
+
"eos_token": "<|endoftext|>"
|
| 5 |
+
}
|