| --- |
| license: apache-2.0 |
| language: |
| - ru |
| base_model: |
| - Qwen/Qwen2.5-0.5B-Instruct |
| pipeline_tag: text-generation |
| tags: |
| - tool-use |
| - function-calling |
| - recurrent-depth |
| - qwen2 |
| - russian |
| --- |
| # assistant8 |
|
|
| https://github.com/RUD9/Grimoire |
|
|
| **Compact Dual Dynamic LLM** — обучен скриптом `build_neuroset.py`. |
|
|
| | | | |
| |---|---| |
| | параметров | **35.85M** (35,849,352) | |
| | архитектура | d_model=896, heads=14x64, base_layers=1, depth=8 | |
| | словарь | 11264 (coverage, покрытие 99.84%) | |
| | обучение | 08:00:00 | |
| | val loss | 2.5465 | |
| | val ppl | 12.76 | |
| | best val | 2.5078 | |
| | данных | 65,490 сэмплов / 40,030,505 токенов | |
|
|
|  |
|
|
| ## Демо |
|
|
| ``` |
| usr> привет бро |
| agt> Привет! Я на связи. Чем могу помочь? |
| |
| usr> посчитай: 50 - 18 |
| agt> <tool_call> |
| {"name":"calculate","arguments":{"expression":"50 - 18"}} |
| </tool_call> |
| |
| <tool_response> |
| {"content":"32"} |
| </tool_response>Итого: 32. |
| |
| usr> поищи столицу франции |
| agt> <tool_call> |
| {"name":"web_search","arguments":{"query":"столица Франции"}} |
| </tool_call> |
| |
| <tool_response> |
| {"content":"Франция , официальное название — Французская Республика — трансконтинентальное государство, включающее основную территорию в Западной Европе и ряд заморских регионов и территорий в разных частях света. Столица и крупнейший город — Париж. Площадь — 623 459 квадратных километров."} |
| </tool_response>По вики: Франция — греческая версия, входит как административная территориальная единица, входит как административная территория, включая |
| |
| usr> сколько будет 2 * 2 |
| agt> <tool_call> |
| {"name":"calculate","arguments":{"expression":"2 * 2"}} |
| </tool_call> |
| |
| <tool_response> |
| {"content":"4"} |
| </tool_response>Итого: 4. |
| |
| usr> расскажи коротко о Москве |
| agt> <tool_call> |
| {"name":"web_search","arguments":{"query":"Спасибо"}} |
| </tool_call> |
| |
| <tool_response> |
| {"content":"Спасибо — вежливое слово, употребляемое для выражения благодарности. Также может означать:"} |
| </tool_response>Из вики: Сахи — отрица, веб — уважительное, село и село. |
| ``` |
|
|
| ## Чат |
|
|
| ```bash |
| python build_neuroset.py --mode chat --run runs/assistant8 |
| ``` |
|
|
| ## Бенч |
|
|
| ```bash |
| python build_neuroset.py --mode bench --run runs/assistant8 |
| ``` |
|
|
| ## Файлы |
|
|
| - `checkpoints/final.pt` — веса (fp16) |
| - `checkpoints/best.pt` — лучшая валидация |
| - `checkpoints/last.pt` — полное состояние для `--resume` |
| - `compact_vocab.pt` — compact-словарь (те же ключи, что в вашем проекте) |
| - `tokenizer/` — токенизатор |
| - `metrics.jsonl` — кривая обучения |
| - `demo.txt` — примеры генерации |
|
|
| > Модель крошечная и обучена за ограниченное время — это демонстрация работоспособности |
| > архитектуры, а не качества уровня Qwen. |
