Spaces:
Paused
Paused
Commit History
-
feat: CTX_SIZE 32768 -> 40960 (max nativo do modelo, sem YaRN) + YaRN opt-in para 131072
Verified signature7ab0dce -
fix: autotune escolhia config pior (TTFT +21s); remove spec n-gram inerte; mantem cache-ram
Verified signatureb4ee86a -
perf: flash-attn on, prompt cache, thread clamp, code-gen defaults
ErinaldordsoSete mudancas cirurgicas, todas verificadas contra o binario b10985: 1. FLASH_ATTN padrao on -- prefill em contexto longo (atencao ~L^2) 2. THREADS clamped a os.cpu_count() -- evita contencao se o host der menos vCPU. Usa print() porque log() ainda nao existe nesse ponto. 3. --no-warmup (guardado por help_txt) -- boot mais curto 4. --cache-reuse 256 -- turnos de agente nao reprocessam o historico 5. --temp 0.2 / --top-p 0.95 -- defaults para CODIGO. IMPORTANTE: vao por FLAG, nao por env. Verificado no binario: nao existe LLAMA_ARG_TEMP nem LLAMA_ARG_TOP_P no b10985 (so TOP_K). Setar essas env seria no-op silencioso e a temperatura continuaria 0.8. 6. LLAMA_ARG_TOP_K=20 -- unica var de sampling confirmada no build 7. Aviso do tradeoff PARALLEL/ctx -- PARALLEL=N divide CTX_SIZE Medido nesta sessao (nao estimado): decode fica em 25.3-28.1 tok/s independente de max_tokens -- e o teto de banda de memoria do hardware. O ganho real aqui e prefill/TTFT, boot e qualidade de geraca…3b4fb97
