Bleyzos AI Center · открытые веса

Mini-Bleyz / Bleyzos-Coder_Fork_MiMo-V2.5-Pro

Форк MiMo-V2.5-Pro, настроенный на кодинг, кибербезопасность и агентные сценарии.

• MIT
• EN · RU
• 1M контекст
• MoE

Сообщество Telegram bleyzos.ru

---

Открытая языковая модель на архитектуре Mixture-of-Experts: 1,02 трлн общих параметров при 42 млрд активных на токен. Разработана для работы с целыми кодовыми базами, многошаговых агентных задач и анализа безопасности — при контексте до миллиона токенов.

Архитектурные характеристики (MoE, гибридное внимание, MTP) унаследованы от базовой модели. Замеры скорости и потребления памяти приведены по документации базовой архитектуры; собственные бенчмарки — в репозитории проекта.

1.02Tвсего параметров

42Bактивных на токен

1Mтокенов контекста

Спецификация

Model sheet

Разработчик	Bleyzos AI — bleyzos.ru
Базовая модель	форк MiMo-V2.5-Pro
Архитектура	Mixture-of-Experts, гибридное внимание (SWA + GA, 6:1)
Параметры	1.02T всего / 42B активных
Контекст	до 1 000 000 токенов
Пост-обучение	SFT + RL + Multi-Teacher Distillation
Языки	English, Русский
Лицензия	MIT

Что внутри

Five takeaways

1. Гибридное вниманиеSliding Window Attention и Global Attention в соотношении 6:1: KV-cache примерно в 7 раз компактнее при длинных сессиях.
2. Multi-Token PredictionТри MTP-слоя разгоняют генерацию до 3× на длинных последовательностях.
3. Миллион токеновВ контекст уходит целый репозиторий: рефакторинг, ревью и миграции без нарезки на чанки.
4. АгентностьПост-обучение SFT + RL с мульти-teacher дистилляцией для многошаговых задач: планирование, вызов инструментов, самопроверка.
5. Устойчивость к инъекциямМодель обучена игнорировать вредоносные инструкции внутри обрабатываемого контента. Внешние фильтры и изоляция секретов — на стороне приложения.

Ограничения

Read before deploy

1. ГаллюцинацииНа устаревших или экзотических API модель может уверенно выдумывать сигнатуры. Проверяйте вывод компилятором и тестами.
2. Безопасность — не замена аудитуАнализ кода моделью не отменяет ручной ревью, SAST/DAST и ответственную политику раскрытия уязвимостей.
3. Приватность контекстаНе отправляйте в модель секреты, ключи и персональные данные — ни в промпт, ни в прикладываемые файлы.

---

Использование

Hugging Face Inference API

from huggingface_hub import InferenceClient
client = InferenceClient(model="Mini-Bleyz/Bleyzos-Coder")

response = client.chat_completion(
messages=[
{"role": "user", "content": "Напиши функцию на Python для разворота связного списка"}
],
max_tokens=512,
)

print(response.choices[0].message.content)

<div class="bz">

<div class="bz-foot">
  <span>Сообщество: <a href="https://t.me/bleyzos">Telegram</a> · <a href="https://bleyzos.ru">bleyzos.ru</a></span>
  <span>Bleyzos AI · MIT License · Based on MiMo-V2.5-Pro</span>
</div>

</div>