PP-Hydrogen / README.md
AdminHugging's picture
clean: без упоминаний сторонних проектов в карточке
1567cf8 verified
|
Raw History Blame Contribute Delete
5.36 kB
---
language:
- ru
- en
license: apache-2.0
tags:
- ppai
- pacperlar
- mixture-of-experts
- russian
- code
- small-language-model
library_name: transformers
---
# PP-H — PacPerlar-Hydrogen (PPAI)
Собственная модель проекта **PPAI**, обученная с нуля. Название по таблице
Менделеева: Hydrogen — самый маленький элемент, PP-H — самая маленькая модель
линейки. Дальше по плану PP-He, PP-Li и так далее.
Модель **base** (не instruct): продолжает текст, на вопросы не отвечает.
## Архитектура
Собственная архитектура PPAI, спроектированная под 100M параметров и 12.4M активных на токен.
| параметр | значение |
|---|---|
| всего параметров | **99.98M** |
| активных на токен | **12.4M** |
| слоёв | 10 |
| эксперты | 20 роутед (top-1) + shared в каждом слое |
| d_model | 192 |
| головы | 6 / 2 KV, head_dim 32 |
| FFN эксперта | 800 |
| окно контекста | 1024 |
| словарь | 24 576 |
Особенности: n-gram хэш-эмбеддинги на входе (окна 2/3/4 токена),
value-residual из нулевого слоя, per-head гейт на выходе внимания,
qk-norm, RoPE, logit softcap.
## Токенизатор
Свой BPE на 24 576, обучен на 40M символов русского, английского и Python.
| язык | символов на токен |
|---|---|
| русский | **4.29** |
| английский | **4.29** |
| python | **3.33** |
Для сравнения: обычный байтовый BPE без кириллицы даёт на русском ~0.82 токена на символ.
## Обучение
| | |
|---|---|
| токенов | **500M** (прогон продолжается до 1.5B) |
| шагов | 13 563 |
| loss | 10.1 → **2.736** (минимум 2.24) |
| скорость | 26 433 ток/с |
| GPU | 1× Tesla T4, fp16 |
| время | 5.7 ч |
| lr | 6e-4, cosine, warmup 500 |
| батч | 12 × 3 × 1024 = 36 864 ток./шаг |
| микс | Python 34%, русский 40%, английский 20%, математика 0%, C#/Rust 6% |
## Что модель умеет и чего не умеет
Честно: она выучила **форму** языка и кода, но не смысл. Реальные сэмплы
(температура 0.8):
```
Русский язык — это Турба́м, также — индийский язык (АПК — значит «ж».
— «календарное слово»), развивающаяся в соответствии с этим языковым
содержанием.
```
```python
def quicksort(arr):
"""
Utility
---------
For more details about the code in the __doc__ function, see
https://docs.djangoproject.com/en/1.7/ref/settings/
```
То есть: настоящие русские слова с согласованием, синтаксически верный
английский, узнаваемая структура Python (докстринги, отступы, ссылки) — но
содержание бессвязное. `quicksort` она не знает.
Это ожидаемо для 100M модели на 500M токенов: GPT-2 small (124M) понадобилось
~40 млрд токенов, чтобы начать связно говорить.
## Использование
```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "AdminHugging/PP-Hydrogen"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
repo, trust_remote_code=True, torch_dtype=torch.float32
).eval()
ids = tok("Русский язык — это", return_tensors="pt").input_ids
out = model.generate(ids, max_new_tokens=40, do_sample=True,
temperature=0.8, top_p=0.9)
print(tok.decode(out[0], skip_special_tokens=True))
```
Нужен `trust_remote_code=True` — архитектура `ppai` не входит в transformers.
**llama.cpp не поддерживается**: архитектуры `ppai` нет среди GGUF-архитектур,
плюс n-gram хэш-эмбеддинги требуют отдельного оператора на C++.
Для локального запуска есть веб-интерфейс на transformers.
## Файлы
| файл | что это |
|---|---|
| `model.safetensors` | веса fp32, 400 МБ |
| `ckpt/last.pt` | полный чекпоинт с оптимизатором, 1.2 ГБ |
| `ckpt/weights_bf16.pt` | веса bf16, 200 МБ |
| `logs/metrics.csv` | кривая обучения |
| `tokenizer.json` | словарь 24 576 |
| `modeling_ppai.py` | код архитектуры |
## Дальше
* продолжение обучения до 1.5B токенов;
* SFT на парах «задача → Python-функция», чтобы писала код по просьбе;
* следующая модель линейки — PP-He.