Instructions to use AdminHugging/aurora2-ru-400m with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use AdminHugging/aurora2-ru-400m with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="AdminHugging/aurora2-ru-400m", trust_remote_code=True)# pip install -U transformers accelerate # Load model directly from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("AdminHugging/aurora2-ru-400m", trust_remote_code=True, device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use AdminHugging/aurora2-ru-400m with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "AdminHugging/aurora2-ru-400m" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "AdminHugging/aurora2-ru-400m", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/AdminHugging/aurora2-ru-400m
- SGLang
How to use AdminHugging/aurora2-ru-400m with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "AdminHugging/aurora2-ru-400m" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "AdminHugging/aurora2-ru-400m", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "AdminHugging/aurora2-ru-400m" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "AdminHugging/aurora2-ru-400m", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use AdminHugging/aurora2-ru-400m with Docker Model Runner:
docker model run hf.co/AdminHugging/aurora2-ru-400m
Aurora2-400M — русский (v2)
Продолжение предобучения AuroraAI-Research/Aurora2-400M-A20M на русском, английском, математике и коде (Python / C# / Rust). Модель base (не instruct): продолжает текст, на вопросы не отвечает.
Это вторая версия. Первая выучила русский, но потеряла ~10 пунктов на английских бенчмарках — во второй добавлен английский в микс и снижен lr.
Что изменено
1. Словарь расширен под кириллицу. В исходном токенизаторе было 16 384 токена и ни одного кириллического: русский кодировался побайтово (~0.82 символа на токен, 8–10 токенов на слово). Добавлены буквы, частые слова и частые подстроки 3–7 символов.
| до | после | |
|---|---|---|
| словарь | 16 384 | 32 384 |
| символов на токен (рус.) | 0.82 | 2.57 |
| токенов на один и тот же текст | 100 | 32 (текст в 3.1× короче) |
| английский | 4.00 симв./ток | 4.00 (без изменений) |
Пример: «Обучение модели на русском языке требует качественного корпуса
текстов» раньше занимало 90 токенов (кириллица разваливалась на байтовые
обрывки Ð, ÑĢ), теперь 16.
2. Дообучение (v2):
| параметр | значение |
|---|---|
| микс | русский 45%, математика 20%, код 25% (Python/C#/Rust), английский 10% |
| токенов | 149.3M (8 100 шагов) |
| батч | 6 × 3 накопления × 1024 = 18 432 ток./шаг |
| lr | 1e-4, cosine, warmup 300 |
| GPU | 1× Tesla T4, fp16, 9.07 ч |
| режим | полный файнтюн, 400.17M параметров |
Результаты обучения
Loss: 6.65 → 2.31 (минимум 1.60). Для сравнения v1: 6.29 → 1.81.
Perplexity по доменам (отложенные шарды): измеряется, будет добавлено.
Бенчмарки
Замеры acc / acc_norm на 500 примерах на задачу. Харнесс воспроизводит опубликованные цифры базовой модели с точностью ~1%, что подтверждает методику.
| задача | карточка базы | база (замер) | v1 | v2 |
|---|---|---|---|---|
| HellaSwag | 32.82 / 38.36 | 33.20 / 39.60 | 27.40 / 27.60 | измеряется |
| ARC-Easy | 51.18 / 48.11 | 50.80 / 47.00 | 27.40 / 27.00 | измеряется |
| ARC-Challenge | 22.95 / 26.11 | 23.80 / 25.20 | 21.40 / 24.40 | измеряется |
| PIQA | 67.41 / 66.92 | 66.80 / 67.00 | 56.80 / 57.00 | измеряется |
| среднее | 43.59 / 44.88 | 43.65 / 44.70 | 33.25 / 34.00 | измеряется |
Ограничения — читать обязательно
- v1 потеряла ~10 пунктов на английских бенчмарках (43.65 → 33.25). Во v2 в микс добавлен английский и снижен lr — результат замеряется.
- Математика и код пока не выросли. Модель копирует формат решений из обучающих данных, но не считает. Python даёт вырожденный код.
- Это base-модель. Отказов у неё нет по определению: она не проходила SFT/RLHF и просто продолжает текст.
- Perplexity меряется на отложенных шардах из тех же доменов — это «насколько выучено распределение», а не проверка решения задач.
- Архитектура MoE: 400M всего, ~19M активных на токен (top-1 из 32 роутед-экспертов + shared). Каждый токен обновляет 1 эксперт из 32.
Использование
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "AdminHugging/aurora2-ru-400m"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
repo, trust_remote_code=True, torch_dtype=torch.float16
).cuda().eval()
ids = tok("Русский язык — это", return_tensors="pt").input_ids.cuda()
with torch.no_grad():
out = model.generate(ids, max_new_tokens=40, do_sample=True,
temperature=0.8, top_p=0.9)
print(tok.decode(out[0], skip_special_tokens=True))
Нужен trust_remote_code=True: архитектура aurora2 не входит в transformers.
llama.cpp не поддерживается — архитектуры aurora2 нет среди 178 GGUF-архитектур.
Файлы
| файл | что это |
|---|---|
model.safetensors |
веса fp32, 1.61 ГБ |
logs/metrics.csv |
кривая обучения v2 |
model/ext/extend_meta.json |
статистика расширения словаря |
tokenizer.json |
словарь 32 384 токена |
- Downloads last month
- 24
Model tree for AdminHugging/aurora2-ru-400m
Base model
AuroraAI-Research/Aurora2-400M-A20M