Cachinde commited on
Commit
e39c34b
·
1 Parent(s): 7e493b0

feat: warmup do Llama no arranque (cache em disco) + lock + docs de pesos

Browse files
Files changed (4) hide show
  1. Dockerfile +9 -0
  2. README.md +12 -0
  3. app.py +9 -0
  4. local_llm.py +12 -0
Dockerfile CHANGED
@@ -8,6 +8,15 @@ RUN pip install --no-cache-dir --upgrade -r requirements.txt
8
 
9
  COPY --chown=user . /app
10
 
 
 
 
 
 
 
 
 
 
11
  USER user
12
  ENV HOME=/home/user \
13
  PATH=/home/user/.local/bin:$PATH \
 
8
 
9
  COPY --chown=user . /app
10
 
11
+ # Pesos do Llama local: NÃO embutidos na imagem (8B em bf16 ≈ 16GB).
12
+ # São baixados no arranque para o cache do disco (ver warmup em app.py)
13
+ # e reutilizados nos arranques seguintes. Para pré-baixar na build
14
+ # (opt-in, só com disco e licença garantidos), descommentar:
15
+ # ARG LOCAL_MODEL_ID=NousResearch/Meta-Llama-3-8B-Instruct
16
+ # ARG HF_TOKEN=""
17
+ # RUN HF_TOKEN=$HF_TOKEN python -c "from transformers import AutoTokenizer, AutoModelForCausalLM; AutoTokenizer.from_pretrained('$LOCAL_MODEL_ID'); AutoModelForCausalLM.from_pretrained('$LOCAL_MODEL_ID', torch_dtype='auto')"
18
+ # Nota: repo gated (ex. Meta Llama) exige licença aceite + HF_TOKEN com acesso.
19
+
20
  USER user
21
  ENV HOME=/home/user \
22
  PATH=/home/user/.local/bin:$PATH \
README.md CHANGED
@@ -29,6 +29,18 @@ LoRA opcional via `LORA_ADAPTER_PATH`) é carregado uma vez e corre no `@spaces.
29
  se o download falhar (ex. repo gated sem licença + `HF_TOKEN`), cai para as APIs externas.
30
  Vars: `LOCAL_MODEL_ID`, `LORA_ADAPTER_PATH`, `HF_TOKEN`.
31
 
 
 
 
 
 
 
 
 
 
 
 
 
32
  ## Aprendizado (v1, log local JSONL)
33
 
34
  - Cada resposta do `/escutar` é registada em `data/conversas.jsonl` e devolve um `mensagem_id`.
 
29
  se o download falhar (ex. repo gated sem licença + `HF_TOKEN`), cai para as APIs externas.
30
  Vars: `LOCAL_MODEL_ID`, `LORA_ADAPTER_PATH`, `HF_TOKEN`.
31
 
32
+ ### Download dos pesos (onde e como confirmar)
33
+
34
+ - Os pesos **não** vão embutidos na imagem Docker (8B em bf16 ≈ 16GB).
35
+ - No arranque, `app.py` faz o pré-aquecimento: baixa uma vez para o cache
36
+ do disco (`~/.cache/huggingface`) e os arranques seguintes reutilizam.
37
+ - Confirme no log do container: `[llama] a carregar ...` → `[llama] modelo pronto.`
38
+ Se aparecer `[llama] indisponível (...)`, leia o motivo (ex. repo gated).
39
+ - Modelo gated (ex. Meta Llama): aceite a licença na página do modelo no Hub
40
+ e defina o Secret `HF_TOKEN` com uma conta que tenha acesso. Sem isto,
41
+ o Llama fica inativo e o bot responde via APIs externas (Groq etc.).
42
+ - Para pré-baixar na build Docker (opt-in), ver bloco comentado no `Dockerfile`.
43
+
44
  ## Aprendizado (v1, log local JSONL)
45
 
46
  - Cada resposta do `/escutar` é registada em `data/conversas.jsonl` e devolve um `mensagem_id`.
app.py CHANGED
@@ -68,5 +68,14 @@ try:
68
  except Exception as exc:
69
  print(f"[boot] lançamento interno do demo falhou: {exc!r}", flush=True)
70
 
 
 
 
 
 
 
 
 
 
71
  if __name__ == "__main__":
72
  uvicorn.run(app, host="0.0.0.0", port=PORT, log_level="info")
 
68
  except Exception as exc:
69
  print(f"[boot] lançamento interno do demo falhou: {exc!r}", flush=True)
70
 
71
+ # Pré-aquecimento do Llama local: baixa os pesos UMA vez (depois usa o cache
72
+ # do disco) para a primeira resposta não pagar o download. Falha silenciosa
73
+ # com fallback para as APIs externas — nunca impede o arranque.
74
+ try:
75
+ from local_llm import _ensure_loaded as _warm_llama
76
+ _warm_llama()
77
+ except Exception as exc:
78
+ print(f"[boot] warmup Llama ignorado: {exc!r}", flush=True)
79
+
80
  if __name__ == "__main__":
81
  uvicorn.run(app, host="0.0.0.0", port=PORT, log_level="info")
local_llm.py CHANGED
@@ -13,6 +13,7 @@ Regras ZeroGPU respeitadas:
13
  import spaces # tem de ser o primeiro import com CUDA por perto
14
 
15
  import os
 
16
 
17
  import torch
18
  from transformers import AutoModelForCausalLM, AutoTokenizer
@@ -27,6 +28,7 @@ from config import Config
27
  _MODEL = None
28
  _TOKENIZER = None
29
  _LOAD_FAILED = ""
 
30
 
31
 
32
  def _ensure_loaded() -> bool:
@@ -35,6 +37,16 @@ def _ensure_loaded() -> bool:
35
  return True
36
  if _LOAD_FAILED:
37
  return False
 
 
 
 
 
 
 
 
 
 
38
  model_id = Config.LOCAL_MODEL_ID
39
  try:
40
  print(f"[llama] a carregar {model_id} ...", flush=True)
 
13
  import spaces # tem de ser o primeiro import com CUDA por perto
14
 
15
  import os
16
+ import threading
17
 
18
  import torch
19
  from transformers import AutoModelForCausalLM, AutoTokenizer
 
28
  _MODEL = None
29
  _TOKENIZER = None
30
  _LOAD_FAILED = ""
31
+ _LOAD_LOCK = threading.Lock()
32
 
33
 
34
  def _ensure_loaded() -> bool:
 
37
  return True
38
  if _LOAD_FAILED:
39
  return False
40
+ with _LOAD_LOCK:
41
+ if _MODEL is not None:
42
+ return True
43
+ if _LOAD_FAILED:
44
+ return False
45
+ return _load_once()
46
+
47
+
48
+ def _load_once() -> bool:
49
+ global _MODEL, _TOKENIZER, _LOAD_FAILED
50
  model_id = Config.LOCAL_MODEL_ID
51
  try:
52
  print(f"[llama] a carregar {model_id} ...", flush=True)