Update app.py

app.py

@@ -1,29 +1,60 @@
+import os
+from huggingface_hub import hf_hub_download, login
 from llama_cpp import Llama
 from fastapi import FastAPI
-from huggingface_hub import hf_hub_download
-import os
+import uvicorn
 
-app = FastAPI()
+# === 1. Авторизация в HF Hub ===
+token = os.getenv("TOKEN_FACE_GRAINED")
+if token:
+    login(token=token)
+    print("TOKEN_FACE_GRAINED подключен")
+else:
+    print("Warning: TOKEN_FACE_GRAINED не найден! Убедитесь, что добавили его в Settings → Secrets")
 
-# ✅ Исправленное имя файла — точно как в репозитории
+# === 2. Скачивание модели ===
+print("Скачивание модели...")
 model_path = hf_hub_download(
     repo_id="Sanya2025/Proxima_B-instruct-Q5_0-GGUF",
-    filename="proxima_b-instruct-q5_0.gguf"  # ← нижний регистр, подчёркивания!
+    filename="proxima_b-instruct-q5_0.gguf",
+    token=token,  # явно передаём токен для gated репозитория
+    local_dir="/tmp/model",  # чтобы не качать повторно при рестарте
+    local_dir_use_symlinks=False
 )
+print(f"Модель загружена: {model_path}")
 
+# === 3. Загрузка в llama.cpp ===
+print("Инициализация llama.cpp...")
 llm = Llama(
     model_path=model_path,
-    n_ctx=4096,
-    n_threads=4,
-    verbose=False
+    n_ctx=4096,        # можно увеличить до 8192 если хватит RAM
+    n_threads=4,       # для CPU Space
+    verbose=True
 )
 
+# === 4. FastAPI приложение ===
+app = FastAPI()
+
 @app.post("/v1/chat/completions")
 async def chat(request: dict):
     messages = request.get("messages", [])
-    response = llm.create_chat_completion(messages=messages)
+    response = llm.create_chat_completion(
+        messages=messages,
+        temperature=request.get("temperature", 0.7),
+        max_tokens=request.get("max_tokens", 512)
+    )
     return response
 
 @app.get("/")
 async def health():
-    return {"status": "ok", "model": "proxima-b-instruct"}
+    return {"status": "ok", "model": "proxima-b-instruct-q5_0"}
+
+@app.get("/health")
+async def health_check():
+    return {"status": "alive"}
+
+# === 5. ЗАПУСК СЕРВЕРА ===
+# uvicorn.run — это БЛОКИРУЮЩИЙ вызов, он держит контейнер открытым
+if __name__ == "__main__":
+    print("Запуск uvicorn на 0.0.0.0:7860...")
+    uvicorn.run(app, host="0.0.0.0", port=7860)