fix(gpu): cache explicito em /data (evita download dentro da janela GPU) + deteccao de VRAM libertada + cooldown apos quota esgotada
Isaac Quarenta
a57148b
- local_gpu_llm: cache_dir explicito em prefetch/from_pretrained (HF_HOME chega tarde demais; foi o que deu load de 86s); _gpu_still_holds_model recarrega se a VRAM foi libertada entre chamadas
- app.py: cooldown local de 10 min apos erro de quota ZeroGPU (chat e botao preload nao martelam o scheduler) + mensagem clara de quota
feat(gpu): GPU ativo por omissao (40s) + modelo local 8B com prefetch para /data
Isaac Quarenta
69df760
- app.py: AKIRA_GPU_DURATION default 40 (40x1.5=60s = teto do tier FREE); HF_HOME=/data/hf_cache (volume persistente); warmup que pré-descarrega os pesos FORA da janela GPU
- local_gpu_llm: DEFAULT_MODEL Orenguteng/Llama-3.1-8B-Lexi (8B em vez de 14B cabe nos 60s); retry de load com orcamento (3) em vez de travar na 1a falha; prefetch() via snapshot_download
- config: LOCAL_GPU_MAX_TOKENS=512 (load ~30s + geracao tem de caber em 60s)
fix(chat): chat nunca parte no Gradio (fallback GPU->sem GPU em 429 ZeroGPU) + NLP/classificadores forcados a CPU + probes de CUDA reais
Isaac Quarenta
e48cf8f
feat(chat): default local LLM Qwen2.5-14B-Instruct + theme movido para launch() (Gradio 6)
Isaac Quarenta
ab42ce2
fix(build): transformers 5.x + hub 1.33 (resolve ResolutionImpossible vs gradio 6.29) + QLoRA passa a usar peft_config
Isaac Quarenta
6989ead
feat(gpu): migracao para Space Gradio GPU (Akiragpu/L4) - modelo local 4-bit em 1 prioridade da chain, QLoRA real, app.py Chat/Treino/Status