Spaces:
Paused
Paused
Commit History
-
revert: ubatch volta a 2048 (4096 mediu ~3% PIOR em A/B controlado); mantem guarda batch>=ubatch
Verified signature89b8453 -
fix: BATCH_SIZE 2048->4096 (deve ser >= ubatch; evita clamp silencioso) + guarda de coerencia
Verified signaturea3b8ca7 -
perf: ubatch 2048->4096 (prefill/group-gemm MoE) + --numa opt-in + diag NUMA
Verified signature47520c2 -
diag: captura uso real de AMX (load_tensors) e system_info do llama.cpp
Verified signature0a72b37 -
perf: diagnostico AMX/VNNI/NUMA + backend de CPU + cache-ram 32GB (ctx 128k)
Verified signature5de0eb7 -
feat: troca para Qwen3-Coder-30B-A3B (MoE, mesma arquitetura) + ctx 131072 + sampling do autor do modelo
Verified signature2a0c9d8 -
feat: CTX_SIZE 32768 -> 40960 (max nativo do modelo, sem YaRN) + YaRN opt-in para 131072
Verified signature7ab0dce -
tooling: patch_app.py escreve LF (local == publicado byte a byte)
Verified signatured5ed9ba -
fix: remove --cache-reuse (suspeito da instabilidade de tool calling em surtos); cache exato do --cache-prompt segue ativo
Verified signatured8402ae -
fix: reverte --no-warmup (causava ~2min de tool calling quebrado apos restart); mantem cache-ram e gate do autotune
Verified signature46d88b9 -
fix: autotune escolhia config pior (TTFT +21s); remove spec n-gram inerte; mantem cache-ram
Verified signatureb4ee86a -
perf: flash-attn on, prompt cache, thread clamp, code-gen defaults
ErinaldordsoSete mudancas cirurgicas, todas verificadas contra o binario b10985: 1. FLASH_ATTN padrao on -- prefill em contexto longo (atencao ~L^2) 2. THREADS clamped a os.cpu_count() -- evita contencao se o host der menos vCPU. Usa print() porque log() ainda nao existe nesse ponto. 3. --no-warmup (guardado por help_txt) -- boot mais curto 4. --cache-reuse 256 -- turnos de agente nao reprocessam o historico 5. --temp 0.2 / --top-p 0.95 -- defaults para CODIGO. IMPORTANTE: vao por FLAG, nao por env. Verificado no binario: nao existe LLAMA_ARG_TEMP nem LLAMA_ARG_TOP_P no b10985 (so TOP_K). Setar essas env seria no-op silencioso e a temperatura continuaria 0.8. 6. LLAMA_ARG_TOP_K=20 -- unica var de sampling confirmada no build 7. Aviso do tradeoff PARALLEL/ctx -- PARALLEL=N divide CTX_SIZE Medido nesta sessao (nao estimado): decode fica em 25.3-28.1 tok/s independente de max_tokens -- e o teto de banda de memoria do hardware. O ganho real aqui e prefill/TTFT, boot e qualidade de geraca…3b4fb97