AdminHugging commited on
Commit
c23cbbb
·
verified ·
1 Parent(s): c8a9c5d

model card: архитектура, обучение, честные ограничения

Browse files
Files changed (1) hide show
  1. README.md +136 -0
README.md ADDED
@@ -0,0 +1,136 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language:
3
+ - ru
4
+ - en
5
+ license: apache-2.0
6
+ tags:
7
+ - ppai
8
+ - pacperlar
9
+ - mixture-of-experts
10
+ - russian
11
+ - code
12
+ - small-language-model
13
+ library_name: transformers
14
+ ---
15
+
16
+ # PP-H — PacPerlar-Hydrogen (PPAI)
17
+
18
+ Собственная модель проекта **PPAI**, обученная с нуля. Название по таблице
19
+ Менделеева: Hydrogen — самый маленький элемент, PP-H — самая маленькая модель
20
+ линейки. Дальше по плану PP-He, PP-Li и так далее.
21
+
22
+ Модель **base** (не instruct): продолжает текст, на вопросы не отвечает.
23
+
24
+ ## Архитектура
25
+
26
+ Развитие идей Aurora2 (Apache-2.0), пересчитанное под 100M параметров.
27
+
28
+ | параметр | значение |
29
+ |---|---|
30
+ | всего параметров | **99.98M** |
31
+ | активных на токен | **12.4M** |
32
+ | слоёв | 10 |
33
+ | эксперты | 20 роутед (top-1) + shared в каждом слое |
34
+ | d_model | 192 |
35
+ | головы | 6 / 2 KV, head_dim 32 |
36
+ | FFN эксперта | 800 |
37
+ | окно контекста | 1024 |
38
+ | словарь | 24 576 |
39
+
40
+ Особенности: n-gram хэш-эмбеддинги на входе (окна 2/3/4 токена),
41
+ value-residual из нулевого слоя, per-head гейт на выходе внимания,
42
+ qk-norm, RoPE, logit softcap.
43
+
44
+ ## Токенизатор
45
+
46
+ Свой BPE на 24 576, обучен на 40M символов русского, английского и Python.
47
+
48
+ | язык | символов на токен |
49
+ |---|---|
50
+ | русский | **4.29** |
51
+ | английский | **4.29** |
52
+ | python | **3.33** |
53
+
54
+ Для сравнения: исходный токенизатор Aurora2 давал на русском 0.82.
55
+
56
+ ## Обучение
57
+
58
+ | | |
59
+ |---|---|
60
+ | токенов | **500M** (прогон продолжается до 1.5B) |
61
+ | шагов | 13 563 |
62
+ | loss | 10.1 → **2.736** (минимум 2.24) |
63
+ | скорость | 26 433 ток/с |
64
+ | GPU | 1× Tesla T4, fp16 |
65
+ | время | 5.7 ч |
66
+ | lr | 6e-4, cosine, warmup 500 |
67
+ | батч | 12 × 3 × 1024 = 36 864 ток./шаг |
68
+ | микс | Python 34%, русский 40%, английский 20%, математика 0%, C#/Rust 6% |
69
+
70
+ ## Что модель умеет и чего не умеет
71
+
72
+ Честно: она выучила **форму** языка и кода, но не смысл. Реальные сэмплы
73
+ (температура 0.8):
74
+
75
+ ```
76
+ Русский язык — это Турба́м, также — индийский язык (АПК — значит «ж».
77
+ — «календарное слово»), развивающаяся в соответствии с этим языковым
78
+ содержанием.
79
+ ```
80
+
81
+ ```python
82
+ def quicksort(arr):
83
+ """
84
+ Utility
85
+ ---------
86
+ For more details about the code in the __doc__ function, see
87
+ https://docs.djangoproject.com/en/1.7/ref/settings/
88
+ ```
89
+
90
+ То есть: настоящие русские слова с согласованием, синтаксически верный
91
+ английский, узнаваемая структура Python (докстринги, отступы, ссылки) — но
92
+ содержание бессвязное. `quicksort` она не знает.
93
+
94
+ Это ожидаемо для 100M модели на 500M токенов: GPT-2 small (124M) понадобилось
95
+ ~40 млрд токенов, чтобы начать связно говорить.
96
+
97
+ ## Использование
98
+
99
+ ```python
100
+ import torch
101
+ from transformers import AutoModelForCausalLM, AutoTokenizer
102
+
103
+ repo = "AdminHugging/PP-Hydrogen"
104
+ tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
105
+ model = AutoModelForCausalLM.from_pretrained(
106
+ repo, trust_remote_code=True, torch_dtype=torch.float32
107
+ ).eval()
108
+
109
+ ids = tok("Русский язык — это", return_tensors="pt").input_ids
110
+ out = model.generate(ids, max_new_tokens=40, do_sample=True,
111
+ temperature=0.8, top_p=0.9)
112
+ print(tok.decode(out[0], skip_special_tokens=True))
113
+ ```
114
+
115
+ Нужен `trust_remote_code=True` — архитектура `ppai` не входит в transformers.
116
+
117
+ **llama.cpp не поддерживается**: архитектуры `ppai` нет среди GGUF-архитектур,
118
+ плюс n-gram хэш-эмбеддинги требуют отдельного оператора на C++.
119
+ Для локального запуска есть веб-интерфейс на transformers.
120
+
121
+ ## Файлы
122
+
123
+ | файл | что это |
124
+ |---|---|
125
+ | `model.safetensors` | веса fp32, 400 МБ |
126
+ | `ckpt/last.pt` | полный чекпоинт с оптимизатором, 1.2 ГБ |
127
+ | `ckpt/weights_bf16.pt` | веса bf16, 200 МБ |
128
+ | `logs/metrics.csv` | кривая обучения |
129
+ | `tokenizer.json` | словарь 24 576 |
130
+ | `modeling_ppai.py` | код архитектуры |
131
+
132
+ ## Дальше
133
+
134
+ * продолжение обучения до 1.5B токенов;
135
+ * SFT на парах «задача → Python-функция», чтобы писала код по просьбе;
136
+ * следующая модель линейки — PP-He.