Aurora2-400M — русский (v2)

Продолжение предобучения AuroraAI-Research/Aurora2-400M-A20M на русском, английском, математике и коде (Python / C# / Rust). Модель base (не instruct): продолжает текст, на вопросы не отвечает.

Это вторая версия. Первая выучила русский, но потеряла ~10 пунктов на английских бенчмарках — во второй добавлен английский в микс и снижен lr.

Что изменено

1. Словарь расширен под кириллицу. В исходном токенизаторе было 16 384 токена и ни одного кириллического: русский кодировался побайтово (~0.82 символа на токен, 8–10 токенов на слово). Добавлены буквы, частые слова и частые подстроки 3–7 символов.

до после
словарь 16 384 32 384
символов на токен (рус.) 0.82 2.57
токенов на один и тот же текст 100 32 (текст в 3.1× короче)
английский 4.00 симв./ток 4.00 (без изменений)

Пример: «Обучение модели на русском языке требует качественного корпуса текстов» раньше занимало 90 токенов (кириллица разваливалась на байтовые обрывки Ð, ÑĢ), теперь 16.

2. Дообучение (v2):

параметр значение
микс русский 45%, математика 20%, код 25% (Python/C#/Rust), английский 10%
токенов 149.3M (8 100 шагов)
батч 6 × 3 накопления × 1024 = 18 432 ток./шаг
lr 1e-4, cosine, warmup 300
GPU 1× Tesla T4, fp16, 9.07 ч
режим полный файнтюн, 400.17M параметров

Результаты обучения

Loss: 6.65 → 2.31 (минимум 1.60). Для сравнения v1: 6.29 → 1.81.

Perplexity по доменам (отложенные шарды): измеряется, будет добавлено.

Бенчмарки

Замеры acc / acc_norm на 500 примерах на задачу. Харнесс воспроизводит опубликованные цифры базовой модели с точностью ~1%, что подтверждает методику.

задача карточка базы база (замер) v1 v2
HellaSwag 32.82 / 38.36 33.20 / 39.60 27.40 / 27.60 измеряется
ARC-Easy 51.18 / 48.11 50.80 / 47.00 27.40 / 27.00 измеряется
ARC-Challenge 22.95 / 26.11 23.80 / 25.20 21.40 / 24.40 измеряется
PIQA 67.41 / 66.92 66.80 / 67.00 56.80 / 57.00 измеряется
среднее 43.59 / 44.88 43.65 / 44.70 33.25 / 34.00 измеряется

Ограничения — читать обязательно

  • v1 потеряла ~10 пунктов на английских бенчмарках (43.65 → 33.25). Во v2 в микс добавлен английский и снижен lr — результат замеряется.
  • Математика и код пока не выросли. Модель копирует формат решений из обучающих данных, но не считает. Python даёт вырожденный код.
  • Это base-модель. Отказов у неё нет по определению: она не проходила SFT/RLHF и просто продолжает текст.
  • Perplexity меряется на отложенных шардах из тех же доменов — это «насколько выучено распределение», а не проверка решения задач.
  • Архитектура MoE: 400M всего, ~19M активных на токен (top-1 из 32 роутед-экспертов + shared). Каждый токен обновляет 1 эксперт из 32.

Использование

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "AdminHugging/aurora2-ru-400m"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    repo, trust_remote_code=True, torch_dtype=torch.float16
).cuda().eval()

ids = tok("Русский язык — это", return_tensors="pt").input_ids.cuda()
with torch.no_grad():
    out = model.generate(ids, max_new_tokens=40, do_sample=True,
                         temperature=0.8, top_p=0.9)
print(tok.decode(out[0], skip_special_tokens=True))

Нужен trust_remote_code=True: архитектура aurora2 не входит в transformers. llama.cpp не поддерживается — архитектуры aurora2 нет среди 178 GGUF-архитектур.

Файлы

файл что это
model.safetensors веса fp32, 1.61 ГБ
logs/metrics.csv кривая обучения v2
model/ext/extend_meta.json статистика расширения словаря
tokenizer.json словарь 32 384 токена
Downloads last month
24
Safetensors
Model size
0.4B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for AdminHugging/aurora2-ru-400m

Finetuned
(1)
this model