Text Generation
Transformers
Safetensors
Russian
English
ppai
pacperlar
mixture-of-experts
russian
code
small-language-model
custom_code
Instructions to use AdminHugging/PP-Hydrogen with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use AdminHugging/PP-Hydrogen with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="AdminHugging/PP-Hydrogen", trust_remote_code=True)# pip install -U transformers accelerate # Load model directly from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("AdminHugging/PP-Hydrogen", trust_remote_code=True, device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use AdminHugging/PP-Hydrogen with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "AdminHugging/PP-Hydrogen" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "AdminHugging/PP-Hydrogen", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/AdminHugging/PP-Hydrogen
- SGLang
How to use AdminHugging/PP-Hydrogen with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "AdminHugging/PP-Hydrogen" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "AdminHugging/PP-Hydrogen", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "AdminHugging/PP-Hydrogen" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "AdminHugging/PP-Hydrogen", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use AdminHugging/PP-Hydrogen with Docker Model Runner:
docker model run hf.co/AdminHugging/PP-Hydrogen
File size: 5,355 Bytes
c23cbbb 1567cf8 c23cbbb 1567cf8 c23cbbb | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 | ---
language:
- ru
- en
license: apache-2.0
tags:
- ppai
- pacperlar
- mixture-of-experts
- russian
- code
- small-language-model
library_name: transformers
---
# PP-H — PacPerlar-Hydrogen (PPAI)
Собственная модель проекта **PPAI**, обученная с нуля. Название по таблице
Менделеева: Hydrogen — самый маленький элемент, PP-H — самая маленькая модель
линейки. Дальше по плану PP-He, PP-Li и так далее.
Модель **base** (не instruct): продолжает текст, на вопросы не отвечает.
## Архитектура
Собственная архитектура PPAI, спроектированная под 100M параметров и 12.4M активных на токен.
| параметр | значение |
|---|---|
| всего параметров | **99.98M** |
| активных на токен | **12.4M** |
| слоёв | 10 |
| эксперты | 20 роутед (top-1) + shared в каждом слое |
| d_model | 192 |
| головы | 6 / 2 KV, head_dim 32 |
| FFN эксперта | 800 |
| окно контекста | 1024 |
| словарь | 24 576 |
Особенности: n-gram хэш-эмбеддинги на входе (окна 2/3/4 токена),
value-residual из нулевого слоя, per-head гейт на выходе внимания,
qk-norm, RoPE, logit softcap.
## Токенизатор
Свой BPE на 24 576, обучен на 40M символов русского, английского и Python.
| язык | символов на токен |
|---|---|
| русский | **4.29** |
| английский | **4.29** |
| python | **3.33** |
Для сравнения: обычный байтовый BPE без кириллицы даёт на русском ~0.82 токена на символ.
## Обучение
| | |
|---|---|
| токенов | **500M** (прогон продолжается до 1.5B) |
| шагов | 13 563 |
| loss | 10.1 → **2.736** (минимум 2.24) |
| скорость | 26 433 ток/с |
| GPU | 1× Tesla T4, fp16 |
| время | 5.7 ч |
| lr | 6e-4, cosine, warmup 500 |
| батч | 12 × 3 × 1024 = 36 864 ток./шаг |
| микс | Python 34%, русский 40%, английский 20%, математика 0%, C#/Rust 6% |
## Что модель умеет и чего не умеет
Честно: она выучила **форму** языка и кода, но не смысл. Реальные сэмплы
(температура 0.8):
```
Русский язык — это Турба́м, также — индийский язык (АПК — значит «ж».
— «календарное слово»), развивающаяся в соответствии с этим языковым
содержанием.
```
```python
def quicksort(arr):
"""
Utility
---------
For more details about the code in the __doc__ function, see
https://docs.djangoproject.com/en/1.7/ref/settings/
```
То есть: настоящие русские слова с согласованием, синтаксически верный
английский, узнаваемая структура Python (докстринги, отступы, ссылки) — но
содержание бессвязное. `quicksort` она не знает.
Это ожидаемо для 100M модели на 500M токенов: GPT-2 small (124M) понадобилось
~40 млрд токенов, чтобы начать связно говорить.
## Использование
```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "AdminHugging/PP-Hydrogen"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
repo, trust_remote_code=True, torch_dtype=torch.float32
).eval()
ids = tok("Русский язык — это", return_tensors="pt").input_ids
out = model.generate(ids, max_new_tokens=40, do_sample=True,
temperature=0.8, top_p=0.9)
print(tok.decode(out[0], skip_special_tokens=True))
```
Нужен `trust_remote_code=True` — архитектура `ppai` не входит в transformers.
**llama.cpp не поддерживается**: архитектуры `ppai` нет среди GGUF-архитектур,
плюс n-gram хэш-эмбеддинги требуют отдельного оператора на C++.
Для локального запуска есть веб-интерфейс на transformers.
## Файлы
| файл | что это |
|---|---|
| `model.safetensors` | веса fp32, 400 МБ |
| `ckpt/last.pt` | полный чекпоинт с оптимизатором, 1.2 ГБ |
| `ckpt/weights_bf16.pt` | веса bf16, 200 МБ |
| `logs/metrics.csv` | кривая обучения |
| `tokenizer.json` | словарь 24 576 |
| `modeling_ppai.py` | код архитектуры |
## Дальше
* продолжение обучения до 1.5B токенов;
* SFT на парах «задача → Python-функция», чтобы писала код по просьбе;
* следующая модель линейки — PP-He.
|