Instructions to use patdev/k3-a40-bootstrap with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use patdev/k3-a40-bootstrap with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf patdev/k3-a40-bootstrap:BF16 # Run inference directly in the terminal: llama cli -hf patdev/k3-a40-bootstrap:BF16
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf patdev/k3-a40-bootstrap:BF16 # Run inference directly in the terminal: llama cli -hf patdev/k3-a40-bootstrap:BF16
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf patdev/k3-a40-bootstrap:BF16 # Run inference directly in the terminal: ./llama-cli -hf patdev/k3-a40-bootstrap:BF16
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf patdev/k3-a40-bootstrap:BF16 # Run inference directly in the terminal: ./build/bin/llama-cli -hf patdev/k3-a40-bootstrap:BF16
Use Docker
docker model run hf.co/patdev/k3-a40-bootstrap:BF16
- LM Studio
- Jan
- Ollama
How to use patdev/k3-a40-bootstrap with Ollama:
ollama run hf.co/patdev/k3-a40-bootstrap:BF16
- Unsloth Desktop
- Docker Model Runner
How to use patdev/k3-a40-bootstrap with Docker Model Runner:
docker model run hf.co/patdev/k3-a40-bootstrap:BF16
- Lemonade
How to use patdev/k3-a40-bootstrap with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull patdev/k3-a40-bootstrap:BF16
Run and chat with the model
lemonade run user.k3-a40-bootstrap-BF16
List all available models
lemonade list
- Atomic Chat
Upload RESULTS.md with huggingface_hub
Browse files- RESULTS.md +42 -0
RESULTS.md
CHANGED
|
@@ -528,3 +528,45 @@ disqualifié par ses 24 Go, qui ne laissent presque rien au KV.
|
|
| 528 |
|
| 529 |
Une cible de 200 tok/s par session à 8 sessions n'est atteignable que sur A100
|
| 530 |
SXM (~190 tok/s attendus, extrapolés de la bande passante — non mesurés).
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 528 |
|
| 529 |
Une cible de 200 tok/s par session à 8 sessions n'est atteignable que sur A100
|
| 530 |
SXM (~190 tok/s attendus, extrapolés de la bande passante — non mesurés).
|
| 531 |
+
|
| 532 |
+
---
|
| 533 |
+
|
| 534 |
+
# L'élagage des experts ne donne rien — et ce que ça révèle
|
| 535 |
+
|
| 536 |
+
Hypothèse testée : à forte concurrence tous les experts finissent par être lus à
|
| 537 |
+
chaque pas, donc c'est la taille **totale** du modèle qui borne le débit, pas les
|
| 538 |
+
3 B actifs. Réduire la taille devrait donc augmenter le débit proportionnellement.
|
| 539 |
+
|
| 540 |
+
`mattbucci/Qwen3-Coder-REAP-25B-A3B-AWQ` : 103 experts au lieu de 128,
|
| 541 |
+
**12,9 Gio au lieu de 16,9** (−24 %). Gain attendu ~1,31×.
|
| 542 |
+
|
| 543 |
+
```
|
| 544 |
+
sessions 30B complet (16,9 Gio) REAP-25B (12,9 Gio)
|
| 545 |
+
1 122,9 124,9
|
| 546 |
+
8 512,1 511,8
|
| 547 |
+
32 1 159,7 1 171,6
|
| 548 |
+
```
|
| 549 |
+
|
| 550 |
+
**Identique au bruit près.** L'hypothèse est réfutée : le débit n'est pas borné
|
| 551 |
+
par la lecture des poids.
|
| 552 |
+
|
| 553 |
+
## Ce que le mur n'est pas
|
| 554 |
+
|
| 555 |
+
```
|
| 556 |
+
lecture des poids -24 % de poids -> 0 % de debit refute
|
| 557 |
+
calcul brut 1171 tok/s x 3 G x 2 = ~7 TFLOPS
|
| 558 |
+
sur ~150 TFLOPS disponibles = 5 % ecarte
|
| 559 |
+
ordonnancement CPU --async-scheduling : dans le bruit refute
|
| 560 |
+
speculation perdante a n=24 ET a n=4 refute
|
| 561 |
+
```
|
| 562 |
+
|
| 563 |
+
Il reste **l'efficacité des kernels MoE** : la dispersion des tokens vers 128
|
| 564 |
+
experts, avec très peu de lignes par expert et par pas. C'est un mur
|
| 565 |
+
d'implémentation, pas de matériel — ce qui explique d'un coup pourquoi aucun des
|
| 566 |
+
quatre leviers testés n'a bougé le débit.
|
| 567 |
+
|
| 568 |
+
## Décision
|
| 569 |
+
|
| 570 |
+
Le modèle non élagué est conservé : le REAP coûte 20 % des experts pour zéro
|
| 571 |
+
gain mesuré, donc de la qualité perdue sans contrepartie. Il reste disponible
|
| 572 |
+
(`VL_MODEL=reap`) au cas où les 4 Go de VRAM libérés seraient utiles au KV.
|