---
license: apache-2.0
language:
- ru
base_model:
- Qwen/Qwen2.5-0.5B-Instruct
pipeline_tag: text-generation
tags:
  - tool-use
  - function-calling
  - recurrent-depth
  - qwen2
  - russian
---
# assistant8

https://github.com/RUD9/Grimoire

**Compact Dual Dynamic LLM** — обучен скриптом `build_neuroset.py`.

| | |
|---|---|
| параметров | **35.85M** (35,849,352) |
| архитектура | d_model=896, heads=14x64, base_layers=1, depth=8 |
| словарь | 11264 (coverage, покрытие 99.84%) |
| обучение | 08:00:00 |
| val loss | 2.5465 |
| val ppl | 12.76 |
| best val | 2.5078 |
| данных | 65,490 сэмплов / 40,030,505 токенов |

![loss](loss_curve.svg)

## Демо

```
usr> привет бро
agt> Привет! Я на связи. Чем могу помочь?

usr> посчитай: 50 - 18
agt> <tool_call>
{"name":"calculate","arguments":{"expression":"50 - 18"}}
</tool_call>

<tool_response>
{"content":"32"}
</tool_response>Итого: 32.

usr> поищи столицу франции
agt> <tool_call>
{"name":"web_search","arguments":{"query":"столица Франции"}}
</tool_call>

<tool_response>
{"content":"Франция , официальное название — Французская Республика — трансконтинентальное государство, включающее основную территорию в Западной Европе и ряд заморских регионов и территорий в разных частях света. Столица и крупнейший город — Париж. Площадь — 623 459 квадратных километров."}
</tool_response>По вики: Франция — греческая версия, входит как административная территориальная единица, входит как административная территория, включая

usr> сколько будет 2 * 2
agt> <tool_call>
{"name":"calculate","arguments":{"expression":"2 * 2"}}
</tool_call>

<tool_response>
{"content":"4"}
</tool_response>Итого: 4.

usr> расскажи коротко о Москве
agt> <tool_call>
{"name":"web_search","arguments":{"query":"Спасибо"}}
</tool_call>

<tool_response>
{"content":"Спасибо — вежливое слово, употребляемое для выражения благодарности. Также может означать:"}
</tool_response>Из вики: Сахи — отрица, веб — уважительное, село и село.
```

## Чат

```bash
python build_neuroset.py --mode chat --run runs/assistant8
```

## Бенч

```bash
python build_neuroset.py --mode bench --run runs/assistant8
```

## Файлы

- `checkpoints/final.pt` — веса (fp16)
- `checkpoints/best.pt` — лучшая валидация
- `checkpoints/last.pt` — полное состояние для `--resume`
- `compact_vocab.pt` — compact-словарь (те же ключи, что в вашем проекте)
- `tokenizer/` — токенизатор
- `metrics.jsonl` — кривая обучения
- `demo.txt` — примеры генерации

> Модель крошечная и обучена за ограниченное время — это демонстрация работоспособности
> архитектуры, а не качества уровня Qwen.