patdev commited on
Commit
de0ad4f
·
verified ·
1 Parent(s): bb025be

Upload RESULTS.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. RESULTS.md +42 -0
RESULTS.md CHANGED
@@ -528,3 +528,45 @@ disqualifié par ses 24 Go, qui ne laissent presque rien au KV.
528
 
529
  Une cible de 200 tok/s par session à 8 sessions n'est atteignable que sur A100
530
  SXM (~190 tok/s attendus, extrapolés de la bande passante — non mesurés).
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
528
 
529
  Une cible de 200 tok/s par session à 8 sessions n'est atteignable que sur A100
530
  SXM (~190 tok/s attendus, extrapolés de la bande passante — non mesurés).
531
+
532
+ ---
533
+
534
+ # L'élagage des experts ne donne rien — et ce que ça révèle
535
+
536
+ Hypothèse testée : à forte concurrence tous les experts finissent par être lus à
537
+ chaque pas, donc c'est la taille **totale** du modèle qui borne le débit, pas les
538
+ 3 B actifs. Réduire la taille devrait donc augmenter le débit proportionnellement.
539
+
540
+ `mattbucci/Qwen3-Coder-REAP-25B-A3B-AWQ` : 103 experts au lieu de 128,
541
+ **12,9 Gio au lieu de 16,9** (−24 %). Gain attendu ~1,31×.
542
+
543
+ ```
544
+ sessions 30B complet (16,9 Gio) REAP-25B (12,9 Gio)
545
+ 1 122,9 124,9
546
+ 8 512,1 511,8
547
+ 32 1 159,7 1 171,6
548
+ ```
549
+
550
+ **Identique au bruit près.** L'hypothèse est réfutée : le débit n'est pas borné
551
+ par la lecture des poids.
552
+
553
+ ## Ce que le mur n'est pas
554
+
555
+ ```
556
+ lecture des poids -24 % de poids -> 0 % de debit refute
557
+ calcul brut 1171 tok/s x 3 G x 2 = ~7 TFLOPS
558
+ sur ~150 TFLOPS disponibles = 5 % ecarte
559
+ ordonnancement CPU --async-scheduling : dans le bruit refute
560
+ speculation perdante a n=24 ET a n=4 refute
561
+ ```
562
+
563
+ Il reste **l'efficacité des kernels MoE** : la dispersion des tokens vers 128
564
+ experts, avec très peu de lignes par expert et par pas. C'est un mur
565
+ d'implémentation, pas de matériel — ce qui explique d'un coup pourquoi aucun des
566
+ quatre leviers testés n'a bougé le débit.
567
+
568
+ ## Décision
569
+
570
+ Le modèle non élagué est conservé : le REAP coûte 20 % des experts pour zéro
571
+ gain mesuré, donc de la qualité perdue sans contrepartie. Il reste disponible
572
+ (`VL_MODEL=reap`) au cas où les 4 Go de VRAM libérés seraient utiles au KV.