Instructions to use quantumaikr/max-0.1b-aimax-router with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use quantumaikr/max-0.1b-aimax-router with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf quantumaikr/max-0.1b-aimax-router:Q4_K_M # Run inference directly in the terminal: llama cli -hf quantumaikr/max-0.1b-aimax-router:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf quantumaikr/max-0.1b-aimax-router:Q4_K_M # Run inference directly in the terminal: llama cli -hf quantumaikr/max-0.1b-aimax-router:Q4_K_M
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf quantumaikr/max-0.1b-aimax-router:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama cli -hf quantumaikr/max-0.1b-aimax-router:Q4_K_M
Use Docker
docker model run hf.co/quantumaikr/max-0.1b-aimax-router:Q4_K_M
- Llama new
- LM Studio
- Jan
- vLLM
How to use quantumaikr/max-0.1b-aimax-router with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "quantumaikr/max-0.1b-aimax-router" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "quantumaikr/max-0.1b-aimax-router", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/quantumaikr/max-0.1b-aimax-router:Q4_K_M
- Ollama
How to use quantumaikr/max-0.1b-aimax-router with Ollama:
ollama run hf.co/quantumaikr/max-0.1b-aimax-router:Q4_K_M
- Unsloth Desktop
- Docker Model Runner
How to use quantumaikr/max-0.1b-aimax-router with Docker Model Runner:
docker model run hf.co/quantumaikr/max-0.1b-aimax-router:Q4_K_M
- Lemonade
How to use quantumaikr/max-0.1b-aimax-router with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull quantumaikr/max-0.1b-aimax-router:Q4_K_M
Run and chat with the model
lemonade run user.max-0.1b-aimax-router-Q4_K_M
List all available models
lemonade list
- Atomic Chat
max-0.1b-aimax-router
ํ๊ตญ์ด ์ ๋ฌด ์์ฒญ ํ ์ค(+์ฒจ๋ถ ์ข ๋ฅ)์ ๋ฐ์, ํ๋กฌํํธ์ ์ค ๊ธฐ๋ฅ ๋ชฉ๋ก ์ค ์ด๋ ๊ธฐ๋ฅ์ ์ผ์ธ์ง์ ํ์ํ ์์งยท๊ธํจยทํ์ ์์ ์ ์์ JSON์ผ๋ก ๋ด๋ 0.1B ํ๋จ ๋ชจ๋ธ(GGUF). AI MAX ์์ฒญ ํ๋จ์ฉ. ์์ ์ด์์ ํ๋จ ์ฌ๋ฃ์ผ ๋ฟ ์ต์ข ๊ฒฐ์ ์ ํ์ง ์๋๋ค.
๋ ํฐ ํ: ์ ๊ธฐ๋ฅยท๋ถ์ ์ ์์ฒญ์ ๋ ์ ๊ณ ๋ฅด๋ 0.6B ํ quantumaikr/aimax-router-qwen3-0.6b (๊ฐ์ ํ๋กฌํํธ ํ์; 0.1Bโ0.6B 2๋จ๋ ์ฌ ๋ณด์์ผ๋ 0.6B ๋จ๋
๊ถ์ฅ โ ๋ค๋ฅธ ์์ฑ์ ๋ด์ธ ์ธํธ์์ ๋จ๋
83.6% vs 2๋จ 80.3%, ์ด 0.1B ๋จ๋
71.2%).
์ฃผ ํ์ผ(์ ์ฅ์ ๋ฃจํธ)์ด ์ต์ ํ(v3)์ด๋ค. ์ด์ ์ฃผ ํ์ผ์ v2b/์ ๊ทธ๋๋ก ์๋ค(๋๋๋ฆฌ๊ธฐ์ฉ, sha256 ๊ฐ์). preview/๋ ๋ ์ด์ ๋ฏธ๋ฆฌ๋ณด๊ธฐ์ด๋ฉฐ, preview/์ f16 GGUF๋ ๊ธด ๋ชฉ๋ก ํ๋กฌํํธ์์ ์ถ๋ ฅ์ด ๊นจ์ง๋ฏ๋ก ์ฐ์ง ๋ง ๊ฒ.
์ด ํ์ ์ฑ๊ฒฉ (๋จผ์ ์ฝ์ ๊ฒ)
- ๊ถ์ฅ ํ์ค ๋ชฉ๋ก(ํ์ฌ ๊ธฐ๋ฅ 10๊ฐ)์ ๋ง์ถ ํ์ด๋ค. ํ์ค ๋ชฉ๋ก์์ ํ์ฌ ๊ธฐ๋ฅ ํ๋จ์ ์ด์ ํ(v2b)๋ณด๋ค ์ข์์ก๋ค(์๋ ํ).
- ๋ชฉ๋ก์ ์๋ ์ผ์, ๋ชฉ๋ก์ ์๋ ๋น์ทํ ๊ธฐ๋ฅ์ผ๋ก ๋ณด๋ด๋ ์ผ์ด v2b๋ณด๋ค ์ฆ๋ค(์ฒ์ ๋ณด๋ ๊ธฐ๋ฅ ์ํ์ "๋ชฉ๋ก์์ ๋บ"์์ none ์ ๋ต๋ฅ 68% โ 48%). ๋น์ทํ ๊ธฐ๋ฅ์ด ๋ง์ด ์์ธ ๋ชฉ๋ก์ผ์๋ก ์ฌํ๋ค.
router_post.v4_gate๊ฐ ์ด๋ฐ ๊ฒฝ์ฐ์ ์๋น์๋ฅผ uncertain์ผ๋ก ๋๋ฆฐ๋ค(์๋ ํ). - ์ ๊ธฐ๋ฅ์ ๋ชฉ๋ก์ ๋ํ๋ ๊ฒ๋ง์ผ๋ก๋ ์์ง ๊ฑฐ์ ๊ณ ๋ฅด์ง ๋ชปํ๋ค(์ฒ์ ๋ณด๋ ๊ธฐ๋ฅ 6์ข : ๋ชฉ๋ก์ ๋ฃ์ด๋ 3%). ์ ๊ธฐ๋ฅ์ ์ค์ ๋ก ์ฐ๋ ค๋ฉด ๊ทธ ๊ธฐ๋ฅ ์์ฒญ ๋ฌธ์ฅ์ ๋ฃ์ด ๋ฐ๋ก ๋ค์ ํ์ตํด์ผ ํ๋ค.
ํ์ผ
| ํ์ผ | ๋ฌด์ |
|---|---|
max-0.1b-aimax-router-Q4_K_M.gguf |
๋ฐฐํฌ์ฉ(CPU ๊ฐ๋ฅ) |
max-0.1b-aimax-router-bf16.gguf |
๊ณ ์ ๋ฐ(f16์ ๊ธด ํ๋กฌํํธ์์ ๊นจ์ ธ ์ฌ๋ฆฌ์ง ์์) |
PROMPT.md |
์ ํํ ํ๋กฌํํธยท๊ธฐ๋ฅ ๋ชฉ๋ก ์ค ํ์ยท๊ถ์ฅ ํ์ค ๋ชฉ๋กยท์์ฑ ์ค์ ยท์ซ์ ๋ณํฉยท๊ฒ์ดํธ |
standard_list.txt |
๊ถ์ฅ ํ์ค ๋ชฉ๋ก(ํ์ฌ ๊ธฐ๋ฅ 10๊ฐ + askยทnone), ๊ทธ๋๋ก ์ฐ๊ธฐ |
router_post.py |
๋ชฉ๋ก ๋ฌธ์์ด, JSON ์คํค๋ง/GBNF, unitsยทseconds ๋ณํฉ(v3_merge), ๊ฒ์ดํธ(v4_gate) |
schema_example.json, grammar_example.gbnf |
๊ถ์ฅ ํ์ค ๋ชฉ๋ก์ฉ ์ ์ฝ ์ |
scores.md |
์ ์ํ(v2b์ ๋น๊ต, ๊ฒ์ดํธ๋ณ ์ฑํ๋ฅ ยท์ ํ๋) |
TRAINING.md |
ํ์ต ์ค์ ํ ์ค, ๋ฐ์ดํฐ ์ฑ๊ฒฉ |
v2b/ |
์ด์ ์ฃผ ํ์ผ(๋๋๋ฆฌ๊ธฐ์ฉ) |
v1/ |
๊ธฐ๋ฅ ๋ชฉ๋ก ์์ด ๊ณ ์ 12๊ธฐ๋ฅ๋ง ์ฐ๋ ์ด์ ํ์ |
SHA256SUMS |
์ ๋ ฅยท์ถ๋ ฅ (v2b์ ๊ฐ์)
system ํด: ๊ธฐ๋ฅ ๋ชฉ๋ก: ๋ค์ ์ค๋ง๋ค id|์ค๋ช
|needs(needs๋ ,๋ก, ์์ผ๋ฉด -), ๋์ ๊ณ ์ ๋ ์ค ask|โฆ|-, none|โฆ|-. user ํด: ์์ฒญ ํ ์ค + \n[์ฒจ๋ถ: โฆ].
์ถ๋ ฅ: {"action","needs","urgency","follow_up","batchable"} 5๊ฐ ํค. unitsยทseconds๋ ๊ท์น์ด ์ฑ์ฐ๊ณ , needs๋ ๋ชฉ๋ก ๊ฐ์ ์ฐ๋ฉฐ, ๊ฒ์ดํธ๋ฅผ ๊ถ์ฅํ๋ค. ์์ธํ ๊ฒ์ PROMPT.md.
์ ์ ์์ฝ (GPU, Q4_K_M, GBNF ์ ์ฝ; v2b โ ์ด ํ)
| ์ธํธ | action | unitsยทseconds | ๊ฒ์ดํธ ์ฑํ๋ฅ / ์ฑํ๋ถ action |
|---|---|---|---|
| gold 48 (ํ์ค ๋ชฉ๋ก) | 97.9 โ 97.9 | 92.3 โ 92.3 | 91.7 / 97.7 โ 87.5 / 100.0 |
| ๋ด์ธ 298 (ํ์ค ๋ชฉ๋ก) | 90.3 โ 93.6 | 78.8 โ 87.5 | 64.8 / 99.0 โ 66.1 / 99.5 |
| ๋ด์ธ 298 (์์ธ ๋ชฉ๋ก) | 82.9 โ 88.9 | ||
| ์ฒ์ ๋ณด๋ ๊ธฐ๋ฅ: ๋ชฉ๋ก์ ๋ฃ์ | 0 โ 3 | ||
| ์ฒ์ ๋ณด๋ ๊ธฐ๋ฅ: ๋ชฉ๋ก์์ ๋บ(none) | 68 โ 48 | v4_gate๊ฐ ์ค๋ต 52๊ฑด ์ค 37๊ฑด์ uncertain์ผ๋ก ๋๋ฆผ |
|
JSON์ ๋ชจ๋ ์ธํธ์์ 100%. unitsยทseconds์ v3 ๊ฐ์ ์ ์ซ์ ๊ท์น(v3_merge), v2b ๊ฐ์ ์ด์ ๊ท์น ๊ธฐ์ค(๊ฐ์ v3 ์ถ๋ ฅ์ ์ด์ ๊ท์น์ ์ฐ๋ฉด ๋ด์ธ 82.5). ๊ฒ์ดํธ๋ v4_gate. ์์ธํ ํ๋ scores.md. |
๊ทธ ๋ฐ์ ํ๊ณ
- gold 48์ ๊ฐ๋ฐ ์ค ํ๋ฆฐ ์๋ฅผ ๋ณด๊ณ ๋ชฉ๋ก ์ค๋ช ์ ๊ณ ์ณค์ผ๋ฏ๋ก ๋๊ด์ ์ด๋ค. ๋ด์ธ 298์ด ๋ ๊ณต์ ํ ์งํ๋ค.
- ํ์ตยทํ๊ฐ ๋ฌธ์ฅ์ ๋ชจ๋ ํฉ์ฑ์ด๋ค(ํ์์ ์ค์ ์์ฒญ ์์). ์ค์ ์์ฒญ์์๋ ๊ทธ๋ฆผ์ ์ด์์ผ๋ก ํ์ธํ ๊ฒ.
ํ์ต
๊ธฐ๋ฐ ๋ชจ๋ธ quantumaikr/max-0.1b-v1 ๊ณ์ด SFT ์ฒดํฌํฌ์ธํธ์์ ์ ์ฒด ๋ฏธ์ธ์กฐ์ (์ถ๋ ฅ ํ ํฐ์๋ง ์์ค). ํ์ต ๋ฐ์ดํฐ๋ ํฉ์ฑ ๋ฌธ์ฅ + ์ฌ๋ฌ ๋งํฌ๋ก ์ด ๋ฌธ์ฅ, ์
๋ฌด ๊ธฐ๋ฅ ์ฝ 680์ข
์ ์์ฒญ ๋ฌธ์ฅ(๊ธฐ๋ฅ ๋ชฉ๋ก์ ์ํ๋ง๋ค ๋ฐ๊ฟ), ์ด์ ํ์ด ํ๋ฆฌ๋ ์ ํ์ ๋ณด๊ฐํ ๋ฌธ์ฅ. ํ์์ ์ค์ ๋ฐ์ดํฐ๋ ์ฐ์ง ์์๋ค. ๋ผ์ด์ ์ค Apache-2.0.
A 0.1B Korean request router (GGUF). The system turn carries a function list (id|description|needs lines, fixed ask/none lines at the end); the model outputs
{"action","needs","urgency","follow_up","batchable"}. Tuned for the recommended standard list of 10 functions: sealed 298 requests action 93.6% (previous 90.3%).
Weaknesses: out-of-list requests are more often sent to a neighbouring listed function (use router_post.v4_gate), and new functions added only to the list are rarely picked โ retraining is still needed. The previous main file is kept under v2b/.
Base: quantumaikr/max-0.1b-v1. License: Apache-2.0. No member data used.
- Downloads last month
- -
4-bit
16-bit
Model tree for quantumaikr/max-0.1b-aimax-router
Base model
quantumaikr/max-0.1b-v1