AuroraSystem/Velary-2.0-1.7B

Velary 2.0

English

Velary 2.0 is a 1.7B-parameter bilingual (Russian/English) instruction model built on LiquidAI/LFM3-1.7B (LFM3 tri-hybrid architecture, 256K-token context) with a reasoning LoRA merged into the base weights.

Benchmarks (ABench75, 375 tasks, automatic regex scoring)

Split	Tasks	Score
Public	300	92.0%
Private	75	93.3%
Combined	375	92.3%

Measured with the high reasoning-effort system prompt, greedy decoding and max_new_tokens=384. Only the overall score is reported.

Training details

• Base model: LiquidAI/LFM3-1.7B (Lfm3ForCausalLM, 24 layers, hidden 2048, vocab 128000, tri-hybrid convolution/attention stack).
• Method: LoRA, r=16, alpha=32, dropout 0.05, merged into the base weights with PEFT. No adapter files are needed at inference time.
• Data: ~14k synthetic/teacher-generated reasoning examples (14,086 train / 322 eval), ChatML format with thinking traces.
• Precision: bfloat16. Trained at 2048-token sequences; the base supports 256K but quality beyond the training length is not validated.

Reasoning control

Reasoning depth is selected through the system prompt:

You are Aurora, a helpful AI assistant created by Aurora System. Reasoning effort: high. Think carefully and thoroughly, then give a complete structured answer.

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained("AuroraSystem/Velary-2.0-1.7B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "AuroraSystem/Velary-2.0-1.7B", trust_remote_code=True,
    dtype="bfloat16", device_map="auto")

messages = [
    {"role": "system", "content": "You are Aurora, a helpful AI assistant created by Aurora System. "
                                  "Reasoning effort: high. Think carefully and thoroughly, then give a "
                                  "complete structured answer."},
    {"role": "user", "content": question},
]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True,
                                 return_tensors="pt", return_dict=True)
out = model.generate(**inputs, max_new_tokens=512, do_sample=False)
print(tok.decode(out[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

Limitations

• Trained on synthetic reasoning data: verify facts and Russian orthography before use.
• Quality is validated at 2048-token sequences; longer contexts are untested.
• Casual conversation and open-ended creative writing are limited.
• Longer reasoning increases token usage; use max_new_tokens of at least 512 for high effort.
• The model is not safety-aligned beyond the training data.

Русский

Velary 2.0 — двуязычная (русский/английский) инструктивная модель на 1.7B параметров на базе LiquidAI/LFM3-1.7B (три-гибридная архитектура LFM3, контекст 256K) с reasoning-LoRA, смердженной в базовые веса.

Бенчмарки (ABench75, 375 задач, автоматическая проверка по регулярке)

Сплит	Задач	Балл
Public	300	92.0%
Private	75	93.3%
Всего	375	92.3%

Замер с системным промтом высокого уровня рассуждений, greedy-декодированием и max_new_tokens=384. Показан только общий балл.

Детали обучения

• Базовая модель: LiquidAI/LFM3-1.7B (Lfm3ForCausalLM, 24 слоя, hidden 2048, словарь 128000, гибридный стек свёрток и внимания).
• Метод: LoRA, r=16, alpha=32, dropout 0.05, с последующим мерджем в базовые веса через PEFT. Адаптеры при инференсе не нужны.
• Данные: ~14k синтетических/учительских примеров рассуждений (14 086 train / 322 eval), формат ChatML с трейсами thinking.
• Точность: bfloat16. Обучение на последовательностях 2048 токенов; база держит 256K, но качество за пределами обучающей длины не проверялось.

Управление рассуждениями

Глубина задаётся системным промтом:

You are Aurora, a helpful AI assistant created by Aurora System. Reasoning effort: high. Think carefully and thoroughly, then give a complete structured answer.

Ограничения

• Качество подтверждено на 2048 токенах; длинные контексты не тестировались.
• Слабо развита светская беседа и открытое креативное письмо.
• Длинные рассуждения увеличивают расход токенов; для high ставьте max_new_tokens не меньше 512.
• Модель не выровнена по безопасности сверх обучающих данных.