File size: 5,355 Bytes
c23cbbb
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1567cf8
c23cbbb
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1567cf8
c23cbbb
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
---
language:
  - ru
  - en
license: apache-2.0
tags:
  - ppai
  - pacperlar
  - mixture-of-experts
  - russian
  - code
  - small-language-model
library_name: transformers
---

# PP-H — PacPerlar-Hydrogen (PPAI)

Собственная модель проекта **PPAI**, обученная с нуля. Название по таблице
Менделеева: Hydrogen — самый маленький элемент, PP-H — самая маленькая модель
линейки. Дальше по плану PP-He, PP-Li и так далее.

Модель **base** (не instruct): продолжает текст, на вопросы не отвечает.

## Архитектура

Собственная архитектура PPAI, спроектированная под 100M параметров и 12.4M активных на токен.

| параметр | значение |
|---|---|
| всего параметров | **99.98M** |
| активных на токен | **12.4M** |
| слоёв | 10 |
| эксперты | 20 роутед (top-1) + shared в каждом слое |
| d_model | 192 |
| головы | 6 / 2 KV, head_dim 32 |
| FFN эксперта | 800 |
| окно контекста | 1024 |
| словарь | 24 576 |

Особенности: n-gram хэш-эмбеддинги на входе (окна 2/3/4 токена),
value-residual из нулевого слоя, per-head гейт на выходе внимания,
qk-norm, RoPE, logit softcap.

## Токенизатор

Свой BPE на 24 576, обучен на 40M символов русского, английского и Python.

| язык | символов на токен |
|---|---|
| русский | **4.29** |
| английский | **4.29** |
| python | **3.33** |

Для сравнения: обычный байтовый BPE без кириллицы даёт на русском ~0.82 токена на символ.

## Обучение

| | |
|---|---|
| токенов | **500M** (прогон продолжается до 1.5B) |
| шагов | 13 563 |
| loss | 10.1 → **2.736** (минимум 2.24) |
| скорость | 26 433 ток/с |
| GPU | 1× Tesla T4, fp16 |
| время | 5.7 ч |
| lr | 6e-4, cosine, warmup 500 |
| батч | 12 × 3 × 1024 = 36 864 ток./шаг |
| микс | Python 34%, русский 40%, английский 20%, математика 0%, C#/Rust 6% |

## Что модель умеет и чего не умеет

Честно: она выучила **форму** языка и кода, но не смысл. Реальные сэмплы
(температура 0.8):

```
Русский язык — это Турба́м, также — индийский язык (АПК — значит «ж».
— «календарное слово»), развивающаяся в соответствии с этим языковым
содержанием.
```

```python
def quicksort(arr):
    """
Utility
---------
For more details about the code in the __doc__ function, see
https://docs.djangoproject.com/en/1.7/ref/settings/
```

То есть: настоящие русские слова с согласованием, синтаксически верный
английский, узнаваемая структура Python (докстринги, отступы, ссылки) — но
содержание бессвязное. `quicksort` она не знает.

Это ожидаемо для 100M модели на 500M токенов: GPT-2 small (124M) понадобилось
~40 млрд токенов, чтобы начать связно говорить.

## Использование

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "AdminHugging/PP-Hydrogen"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    repo, trust_remote_code=True, torch_dtype=torch.float32
).eval()

ids = tok("Русский язык — это", return_tensors="pt").input_ids
out = model.generate(ids, max_new_tokens=40, do_sample=True,
                     temperature=0.8, top_p=0.9)
print(tok.decode(out[0], skip_special_tokens=True))
```

Нужен `trust_remote_code=True` — архитектура `ppai` не входит в transformers.

**llama.cpp не поддерживается**: архитектуры `ppai` нет среди GGUF-архитектур,
плюс n-gram хэш-эмбеддинги требуют отдельного оператора на C++.
Для локального запуска есть веб-интерфейс на transformers.

## Файлы

| файл | что это |
|---|---|
| `model.safetensors` | веса fp32, 400 МБ |
| `ckpt/last.pt` | полный чекпоинт с оптимизатором, 1.2 ГБ |
| `ckpt/weights_bf16.pt` | веса bf16, 200 МБ |
| `logs/metrics.csv` | кривая обучения |
| `tokenizer.json` | словарь 24 576 |
| `modeling_ppai.py` | код архитектуры |

## Дальше

* продолжение обучения до 1.5B токенов;
* SFT на парах «задача → Python-функция», чтобы писала код по просьбе;
* следующая модель линейки — PP-He.