SableAI-Dev commited on
Commit
8c967ea
·
verified ·
1 Parent(s): c43f955

Upload folder using huggingface_hub

Browse files
Files changed (9) hide show
  1. .gitattributes +3 -34
  2. README.md +101 -0
  3. config.json +16 -0
  4. generate.py +25 -0
  5. generation_config.json +7 -0
  6. model.py +79 -0
  7. model.safetensors +3 -0
  8. tokenizer.json +0 -0
  9. tokenizer_config.json +5 -0
.gitattributes CHANGED
@@ -1,35 +1,4 @@
1
- *.7z filter=lfs diff=lfs merge=lfs -text
2
- *.arrow filter=lfs diff=lfs merge=lfs -text
3
- *.bin filter=lfs diff=lfs merge=lfs -text
4
- *.bz2 filter=lfs diff=lfs merge=lfs -text
5
- *.ckpt filter=lfs diff=lfs merge=lfs -text
6
- *.ftz filter=lfs diff=lfs merge=lfs -text
7
- *.gz filter=lfs diff=lfs merge=lfs -text
8
- *.h5 filter=lfs diff=lfs merge=lfs -text
9
- *.joblib filter=lfs diff=lfs merge=lfs -text
10
- *.lfs.* filter=lfs diff=lfs merge=lfs -text
11
- *.mlmodel filter=lfs diff=lfs merge=lfs -text
12
- *.model filter=lfs diff=lfs merge=lfs -text
13
- *.msgpack filter=lfs diff=lfs merge=lfs -text
14
- *.npy filter=lfs diff=lfs merge=lfs -text
15
- *.npz filter=lfs diff=lfs merge=lfs -text
16
- *.onnx filter=lfs diff=lfs merge=lfs -text
17
- *.ot filter=lfs diff=lfs merge=lfs -text
18
- *.parquet filter=lfs diff=lfs merge=lfs -text
19
- *.pb filter=lfs diff=lfs merge=lfs -text
20
- *.pickle filter=lfs diff=lfs merge=lfs -text
21
- *.pkl filter=lfs diff=lfs merge=lfs -text
22
- *.pt filter=lfs diff=lfs merge=lfs -text
23
- *.pth filter=lfs diff=lfs merge=lfs -text
24
- *.rar filter=lfs diff=lfs merge=lfs -text
25
  *.safetensors filter=lfs diff=lfs merge=lfs -text
26
- saved_model/**/* filter=lfs diff=lfs merge=lfs -text
27
- *.tar.* filter=lfs diff=lfs merge=lfs -text
28
- *.tar filter=lfs diff=lfs merge=lfs -text
29
- *.tflite filter=lfs diff=lfs merge=lfs -text
30
- *.tgz filter=lfs diff=lfs merge=lfs -text
31
- *.wasm filter=lfs diff=lfs merge=lfs -text
32
- *.xz filter=lfs diff=lfs merge=lfs -text
33
- *.zip filter=lfs diff=lfs merge=lfs -text
34
- *.zst filter=lfs diff=lfs merge=lfs -text
35
- *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  *.safetensors filter=lfs diff=lfs merge=lfs -text
2
+ *.pt filter=lfs diff=lfs merge=lfs -text
3
+ *.bin filter=lfs diff=lfs merge=lfs -text
4
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
 
 
 
 
 
 
 
README.md CHANGED
@@ -1,3 +1,104 @@
1
  ---
2
  license: apache-2.0
 
 
 
 
 
 
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: apache-2.0
3
+ library_name: pytorch
4
+ pipeline_tag: text-generation
5
+ tags:
6
+ - gpt
7
+ - from-scratch
8
+ - russian
9
+ - small-language-model
10
+ language:
11
+ - ru
12
+ datasets:
13
+ - HuggingFaceFW/fineweb-2
14
  ---
15
+
16
+ # Kit-89M
17
+
18
+ **Kit** — семейство лёгких и быстрых моделей [SableAI](#о-проекте) в системе **Axon**. Это первая модель семейства: небольшая русскоязычная языковая модель (GPT, 89M параметров), обученная **с нуля** на одной домашней видеокарте с 6 ГБ памяти. Веса не взяты ни у какой другой модели.
19
+
20
+ **Это базовая модель, а не чат-бот.** Она продолжает текст, а не отвечает на вопросы. Она маленькая и обучена на небольшом корпусе, поэтому часто ошибается в фактах и теряет мысль. Не используйте её там, где нужна надёжность.
21
+
22
+ В transformers и vLLM она не загрузится: архитектура собственная. Код модели лежит рядом (`model.py`), запуск описан ниже.
23
+
24
+ ## О проекте
25
+
26
+ **SableAI** (sable — соболь) — компания, **Axon** — её ИИ-система (нейрон, связь, инженерия). Модели Axon названы по животным семейства куньих и выстроены от простого к сложному:
27
+
28
+ | Модель | Для чего | Статус |
29
+ |---|---|---|
30
+ | **Kit** | простые и мгновенные задачи: лёгкая и быстрая, как детёныш соболя | первая модель выпущена (Kit-89M, эта страница) |
31
+ | **Stout** | офисная работа и программирование: крепкая, надёжная, рабочая | в планах |
32
+ | **Marten** | сложные аналитические задачи: умная и хитрая, как куница | в планах |
33
+ | **Fisher** | глубокий научный и творческий потенциал, флагман | в планах |
34
+
35
+ Kit — это семейство, а не одна модель: в него войдут версии разного размера и с разными языками. Kit-89M — стартовая точка, на которой отлаживаются данные, токенайзер и обучение. Дальнейшие планы: английский язык наравне с русским, затем другие языки и код. Всё это пока не реализовано, и у выпущенной модели этих возможностей нет.
36
+
37
+ ## Характеристики
38
+
39
+ | | |
40
+ |---|---|
41
+ | параметры | 89.3M (веса токенов и выходного слоя общие) |
42
+ | слои / голова / размерность | 16 / 10 / 640 |
43
+ | контекст | 512 токенов |
44
+ | словарь | 16 000, byte-level BPE, обучен на том же корпусе |
45
+ | архитектура | decoder-only трансформер, LayerNorm, GELU, обучаемые позиции |
46
+ | формат весов | `model.safetensors`, fp16, около 180 МБ |
47
+
48
+ ## Запуск
49
+
50
+ ```bash
51
+ pip install torch tokenizers safetensors huggingface_hub
52
+ hf download SableAI-Dev/Axon-Kit --local-dir Axon-Kit
53
+ cd Axon-Kit
54
+ python generate.py model.safetensors "Москва — это" --tokens 150
55
+ ```
56
+
57
+ Параметры генерации: `--temp` (по умолчанию 0.8), `--top_k` (40). Нужна видеокарта с CUDA. Один запуск занимает меньше 1 ГБ видеопамяти.
58
+
59
+ ## Данные
60
+
61
+ Русский срез [FineWeb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) (`rus_Cyrl`): документы короче 300 символов отброшены, оставлено около 131M токенов. Последний 1% корпуса не участвует в обучении и используется для проверки. Дедупликации и дополнительной фильтрации сверх этого не было. Корпус собран из веб-страниц, поэтому модель может воспроизводить их смещения и ошибки.
62
+
63
+ ## Обучение
64
+
65
+ | | |
66
+ |---|---|
67
+ | железо | одна NVIDIA RTX 2060 (6 ГБ), Intel Core i5-12400F, 32 ГБ ОЗУ |
68
+ | оптимизатор | AdamW, betas 0.9/0.95, weight decay 0.1 (только для матриц) |
69
+ | скорость обучения | 3e-4, прогрев 200 шагов, затем косинус до 3e-5 |
70
+ | батч | 64 последовательности по 512 токенов (8 × накопление 8), 32 768 токенов ��а шаг |
71
+ | точность | fp16 с автоматическим масштабированием потерь, обрезка градиента 1.0 |
72
+ | скорость | около 23 500 токенов в секунду |
73
+ | этапы | 14 000 шагов с батчем 8, затем 1 200 шагов (около 28 минут, примерно 39M токенов) с батчем 64 |
74
+
75
+ Чтобы не упираться в видеокарту, весь корпус держится в оперативной памяти, а батчи готовятся на процессоре в фоновых потоках, пока видеокарта считает.
76
+
77
+ ## Качество
78
+
79
+ Val loss на отложенном 1% корпуса во время второго этапа:
80
+
81
+ | шаг | 250 | 500 | 750 | 1000 |
82
+ |---|---|---|---|---|
83
+ | val loss | 3.956 | 3.870 | 3.882 | 3.779 |
84
+
85
+ Значение шума в этих измерениях заметно (оценка по 40 батчам), поэтому небольшие колебания между точками не стоит считать трендом. Другие бенчмарки не запускались.
86
+
87
+ Примеры продолжения текста (температура 0.8, top-k 40):
88
+
89
+ > **Москва — это** Операция. Я думаю, что российская экономика, который стал для России, будет развиваться и на дорогах. И в целом, это будет очень непростая ситуация.
90
+
91
+ > **Для того чтобы** получить необходимые сведения, заполните их и нажмите Ctrl+Enter, чтобы сообщить нам, что для этого необходимо зарегистрироваться.
92
+
93
+ Текст грамматически похож на русский и стилистически на веб-страницы, но по смыслу бессвязен: ошибки в согласовании и фактах встречаются постоянно.
94
+
95
+ ## Ограничения
96
+
97
+ - Только русский язык; на других языках модель почти бесполезна.
98
+ - Контекст 512 токенов.
99
+ - Нет дообучения на инструкциях и диалогах, нет фильтров безопасности.
100
+ - Обучена на ограниченном объёме данных (меньше нескольких эпох по 131M токенов), поэтому заметно недообучена.
101
+
102
+ ## Лицензия
103
+
104
+ Код и веса под Apache 2.0. Обучающие данные собраны из FineWeb-2 (ODC-By 1.0) и сохраняют исходные условия.
config.json ADDED
@@ -0,0 +1,16 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "KitGPT"
4
+ ],
5
+ "model_type": "kit",
6
+ "vocab_size": 16000,
7
+ "n_positions": 512,
8
+ "n_layer": 16,
9
+ "n_head": 10,
10
+ "n_embd": 640,
11
+ "activation": "gelu",
12
+ "norm": "layernorm",
13
+ "tie_word_embeddings": true,
14
+ "num_parameters": 89345280,
15
+ "torch_dtype": "float16"
16
+ }
generate.py ADDED
@@ -0,0 +1,25 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import argparse
2
+ import torch
3
+ from tokenizers import Tokenizer
4
+
5
+ from model import GPT, sample
6
+
7
+ ap = argparse.ArgumentParser()
8
+ ap.add_argument("ckpt", help="чекпоинт: kit_*.pt или last.pt")
9
+ ap.add_argument("prompt", nargs="?", default="Москва — это")
10
+ ap.add_argument("--tokens", type=int, default=150)
11
+ ap.add_argument("--temp", type=float, default=0.8)
12
+ ap.add_argument("--top_k", type=int, default=40)
13
+ args = ap.parse_args()
14
+
15
+ device = "cuda"
16
+ tok = Tokenizer.from_file("data/tokenizer.json")
17
+ model = GPT().to(device)
18
+ if args.ckpt.endswith(".safetensors"):
19
+ from safetensors.torch import load_file
20
+ # head.weight связан с tok_emb.weight и в файле отсутствует
21
+ model.load_state_dict({k: v.float() for k, v in load_file(args.ckpt).items()}, strict=False)
22
+ else:
23
+ sd = torch.load(args.ckpt, map_location=device)
24
+ model.load_state_dict(sd["model"] if "model" in sd else sd)
25
+ print(sample(model, tok, args.prompt, device, args.tokens, args.temp, args.top_k))
generation_config.json ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "do_sample": true,
3
+ "temperature": 0.8,
4
+ "top_k": 40,
5
+ "max_new_tokens": 150,
6
+ "eos_token_id": 0
7
+ }
model.py ADDED
@@ -0,0 +1,79 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import torch
2
+ import torch.nn as nn
3
+ import torch.nn.functional as F
4
+
5
+ VOCAB = 16000
6
+ CTX = 512
7
+ N_LAYER = 16
8
+ N_HEAD = 10
9
+ N_EMBD = 640
10
+
11
+
12
+ class Block(nn.Module):
13
+ def __init__(self):
14
+ super().__init__()
15
+ self.ln1 = nn.LayerNorm(N_EMBD)
16
+ self.qkv = nn.Linear(N_EMBD, 3 * N_EMBD)
17
+ self.proj = nn.Linear(N_EMBD, N_EMBD)
18
+ self.ln2 = nn.LayerNorm(N_EMBD)
19
+ self.fc = nn.Linear(N_EMBD, 4 * N_EMBD)
20
+ self.fc2 = nn.Linear(4 * N_EMBD, N_EMBD)
21
+
22
+ def forward(self, x):
23
+ B, T, C = x.shape
24
+ q, k, v = self.qkv(self.ln1(x)).split(C, dim=2)
25
+ q = q.view(B, T, N_HEAD, C // N_HEAD).transpose(1, 2)
26
+ k = k.view(B, T, N_HEAD, C // N_HEAD).transpose(1, 2)
27
+ v = v.view(B, T, N_HEAD, C // N_HEAD).transpose(1, 2)
28
+ y = F.scaled_dot_product_attention(q, k, v, is_causal=True)
29
+ y = y.transpose(1, 2).contiguous().view(B, T, C)
30
+ x = x + self.proj(y)
31
+ x = x + self.fc2(F.gelu(self.fc(self.ln2(x))))
32
+ return x
33
+
34
+
35
+ class GPT(nn.Module):
36
+ def __init__(self):
37
+ super().__init__()
38
+ self.tok_emb = nn.Embedding(VOCAB, N_EMBD)
39
+ self.pos_emb = nn.Embedding(CTX, N_EMBD)
40
+ self.blocks = nn.ModuleList([Block() for _ in range(N_LAYER)])
41
+ self.ln_f = nn.LayerNorm(N_EMBD)
42
+ self.head = nn.Linear(N_EMBD, VOCAB, bias=False)
43
+ self.head.weight = self.tok_emb.weight # связанные веса: экономим память
44
+ self.apply(self._init)
45
+
46
+ def _init(self, m):
47
+ if isinstance(m, (nn.Linear, nn.Embedding)):
48
+ nn.init.normal_(m.weight, std=0.02)
49
+ if isinstance(m, nn.Linear) and m.bias is not None:
50
+ nn.init.zeros_(m.bias)
51
+
52
+ def forward(self, idx, targets=None):
53
+ B, T = idx.shape
54
+ pos = torch.arange(T, device=idx.device)
55
+ x = self.tok_emb(idx) + self.pos_emb(pos)
56
+ for b in self.blocks:
57
+ x = b(x)
58
+ logits = self.head(self.ln_f(x))
59
+ loss = None
60
+ if targets is not None:
61
+ loss = F.cross_entropy(logits.float().view(-1, VOCAB), targets.view(-1))
62
+ return logits, loss
63
+
64
+
65
+ @torch.no_grad()
66
+ def sample(model, tok, prompt, device, max_new=120, temp=0.8, top_k=40):
67
+ was_training = model.training
68
+ model.eval()
69
+ idx = torch.tensor([tok.encode(prompt).ids], device=device)
70
+ for _ in range(max_new):
71
+ with torch.autocast("cuda", dtype=torch.float16):
72
+ logits, _ = model(idx[:, -CTX:])
73
+ logits = logits[:, -1, :].float() / temp
74
+ v, _ = torch.topk(logits, top_k)
75
+ logits[logits < v[:, [-1]]] = -float("inf")
76
+ nxt = torch.multinomial(F.softmax(logits, dim=-1), 1)
77
+ idx = torch.cat([idx, nxt], dim=1)
78
+ model.train(was_training)
79
+ return tok.decode(idx[0].tolist())
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d642e0e4a0a6e3169411b03b6ce1bd7db3e777fcf012854f07bff7c6d46f81be
3
+ size 178707960
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json ADDED
@@ -0,0 +1,5 @@
 
 
 
 
 
 
1
+ {
2
+ "tokenizer_class": "PreTrainedTokenizerFast",
3
+ "model_max_length": 512,
4
+ "eos_token": "<|endoftext|>"
5
+ }