Cachinde commited on
Commit ·
e39c34b
1
Parent(s): 7e493b0
feat: warmup do Llama no arranque (cache em disco) + lock + docs de pesos
Browse files- Dockerfile +9 -0
- README.md +12 -0
- app.py +9 -0
- local_llm.py +12 -0
Dockerfile
CHANGED
|
@@ -8,6 +8,15 @@ RUN pip install --no-cache-dir --upgrade -r requirements.txt
|
|
| 8 |
|
| 9 |
COPY --chown=user . /app
|
| 10 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 11 |
USER user
|
| 12 |
ENV HOME=/home/user \
|
| 13 |
PATH=/home/user/.local/bin:$PATH \
|
|
|
|
| 8 |
|
| 9 |
COPY --chown=user . /app
|
| 10 |
|
| 11 |
+
# Pesos do Llama local: NÃO embutidos na imagem (8B em bf16 ≈ 16GB).
|
| 12 |
+
# São baixados no arranque para o cache do disco (ver warmup em app.py)
|
| 13 |
+
# e reutilizados nos arranques seguintes. Para pré-baixar na build
|
| 14 |
+
# (opt-in, só com disco e licença garantidos), descommentar:
|
| 15 |
+
# ARG LOCAL_MODEL_ID=NousResearch/Meta-Llama-3-8B-Instruct
|
| 16 |
+
# ARG HF_TOKEN=""
|
| 17 |
+
# RUN HF_TOKEN=$HF_TOKEN python -c "from transformers import AutoTokenizer, AutoModelForCausalLM; AutoTokenizer.from_pretrained('$LOCAL_MODEL_ID'); AutoModelForCausalLM.from_pretrained('$LOCAL_MODEL_ID', torch_dtype='auto')"
|
| 18 |
+
# Nota: repo gated (ex. Meta Llama) exige licença aceite + HF_TOKEN com acesso.
|
| 19 |
+
|
| 20 |
USER user
|
| 21 |
ENV HOME=/home/user \
|
| 22 |
PATH=/home/user/.local/bin:$PATH \
|
README.md
CHANGED
|
@@ -29,6 +29,18 @@ LoRA opcional via `LORA_ADAPTER_PATH`) é carregado uma vez e corre no `@spaces.
|
|
| 29 |
se o download falhar (ex. repo gated sem licença + `HF_TOKEN`), cai para as APIs externas.
|
| 30 |
Vars: `LOCAL_MODEL_ID`, `LORA_ADAPTER_PATH`, `HF_TOKEN`.
|
| 31 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 32 |
## Aprendizado (v1, log local JSONL)
|
| 33 |
|
| 34 |
- Cada resposta do `/escutar` é registada em `data/conversas.jsonl` e devolve um `mensagem_id`.
|
|
|
|
| 29 |
se o download falhar (ex. repo gated sem licença + `HF_TOKEN`), cai para as APIs externas.
|
| 30 |
Vars: `LOCAL_MODEL_ID`, `LORA_ADAPTER_PATH`, `HF_TOKEN`.
|
| 31 |
|
| 32 |
+
### Download dos pesos (onde e como confirmar)
|
| 33 |
+
|
| 34 |
+
- Os pesos **não** vão embutidos na imagem Docker (8B em bf16 ≈ 16GB).
|
| 35 |
+
- No arranque, `app.py` faz o pré-aquecimento: baixa uma vez para o cache
|
| 36 |
+
do disco (`~/.cache/huggingface`) e os arranques seguintes reutilizam.
|
| 37 |
+
- Confirme no log do container: `[llama] a carregar ...` → `[llama] modelo pronto.`
|
| 38 |
+
Se aparecer `[llama] indisponível (...)`, leia o motivo (ex. repo gated).
|
| 39 |
+
- Modelo gated (ex. Meta Llama): aceite a licença na página do modelo no Hub
|
| 40 |
+
e defina o Secret `HF_TOKEN` com uma conta que tenha acesso. Sem isto,
|
| 41 |
+
o Llama fica inativo e o bot responde via APIs externas (Groq etc.).
|
| 42 |
+
- Para pré-baixar na build Docker (opt-in), ver bloco comentado no `Dockerfile`.
|
| 43 |
+
|
| 44 |
## Aprendizado (v1, log local JSONL)
|
| 45 |
|
| 46 |
- Cada resposta do `/escutar` é registada em `data/conversas.jsonl` e devolve um `mensagem_id`.
|
app.py
CHANGED
|
@@ -68,5 +68,14 @@ try:
|
|
| 68 |
except Exception as exc:
|
| 69 |
print(f"[boot] lançamento interno do demo falhou: {exc!r}", flush=True)
|
| 70 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 71 |
if __name__ == "__main__":
|
| 72 |
uvicorn.run(app, host="0.0.0.0", port=PORT, log_level="info")
|
|
|
|
| 68 |
except Exception as exc:
|
| 69 |
print(f"[boot] lançamento interno do demo falhou: {exc!r}", flush=True)
|
| 70 |
|
| 71 |
+
# Pré-aquecimento do Llama local: baixa os pesos UMA vez (depois usa o cache
|
| 72 |
+
# do disco) para a primeira resposta não pagar o download. Falha silenciosa
|
| 73 |
+
# com fallback para as APIs externas — nunca impede o arranque.
|
| 74 |
+
try:
|
| 75 |
+
from local_llm import _ensure_loaded as _warm_llama
|
| 76 |
+
_warm_llama()
|
| 77 |
+
except Exception as exc:
|
| 78 |
+
print(f"[boot] warmup Llama ignorado: {exc!r}", flush=True)
|
| 79 |
+
|
| 80 |
if __name__ == "__main__":
|
| 81 |
uvicorn.run(app, host="0.0.0.0", port=PORT, log_level="info")
|
local_llm.py
CHANGED
|
@@ -13,6 +13,7 @@ Regras ZeroGPU respeitadas:
|
|
| 13 |
import spaces # tem de ser o primeiro import com CUDA por perto
|
| 14 |
|
| 15 |
import os
|
|
|
|
| 16 |
|
| 17 |
import torch
|
| 18 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
|
@@ -27,6 +28,7 @@ from config import Config
|
|
| 27 |
_MODEL = None
|
| 28 |
_TOKENIZER = None
|
| 29 |
_LOAD_FAILED = ""
|
|
|
|
| 30 |
|
| 31 |
|
| 32 |
def _ensure_loaded() -> bool:
|
|
@@ -35,6 +37,16 @@ def _ensure_loaded() -> bool:
|
|
| 35 |
return True
|
| 36 |
if _LOAD_FAILED:
|
| 37 |
return False
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 38 |
model_id = Config.LOCAL_MODEL_ID
|
| 39 |
try:
|
| 40 |
print(f"[llama] a carregar {model_id} ...", flush=True)
|
|
|
|
| 13 |
import spaces # tem de ser o primeiro import com CUDA por perto
|
| 14 |
|
| 15 |
import os
|
| 16 |
+
import threading
|
| 17 |
|
| 18 |
import torch
|
| 19 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
|
|
|
| 28 |
_MODEL = None
|
| 29 |
_TOKENIZER = None
|
| 30 |
_LOAD_FAILED = ""
|
| 31 |
+
_LOAD_LOCK = threading.Lock()
|
| 32 |
|
| 33 |
|
| 34 |
def _ensure_loaded() -> bool:
|
|
|
|
| 37 |
return True
|
| 38 |
if _LOAD_FAILED:
|
| 39 |
return False
|
| 40 |
+
with _LOAD_LOCK:
|
| 41 |
+
if _MODEL is not None:
|
| 42 |
+
return True
|
| 43 |
+
if _LOAD_FAILED:
|
| 44 |
+
return False
|
| 45 |
+
return _load_once()
|
| 46 |
+
|
| 47 |
+
|
| 48 |
+
def _load_once() -> bool:
|
| 49 |
+
global _MODEL, _TOKENIZER, _LOAD_FAILED
|
| 50 |
model_id = Config.LOCAL_MODEL_ID
|
| 51 |
try:
|
| 52 |
print(f"[llama] a carregar {model_id} ...", flush=True)
|