Update app.py

app.py

@@ -3,58 +3,68 @@ from huggingface_hub import hf_hub_download, login
 from llama_cpp import Llama
 from fastapi import FastAPI
 import uvicorn
+import time
+from concurrent.futures import ThreadPoolExecutor
 
-# === 1. Авторизация в HF Hub ===
+# === Авторизация ===
 token = os.getenv("TOKEN_FACE_GRAINED")
 if token:
     login(token=token)
-    print("TOKEN_FACE_GRAINED подключен")
-else:
-    print("Warning: TOKEN_FACE_GRAINED не найден! Убедитесь, что добавили его в Settings → Secrets")
 
-# === 2. Скачивание модели ===
+# === Загрузка модели ===
 print("Скачивание модели...")
 model_path = hf_hub_download(
     repo_id="Sanya2025/Proxima_B-instruct-Q5_0-GGUF",
     filename="proxima_b-instruct-q5_0.gguf",
-    token=token,  # явно передаём токен для gated репозитория
-    local_dir="/tmp/model",  # чтобы не качать повторно при рестарте
+    token=token,
+    local_dir="/tmp/model",
     local_dir_use_symlinks=False
 )
-print(f"Модель загружена: {model_path}")
+print(f"Модель: {model_path}")
 
-# === 3. Загрузка в llama.cpp ===
 print("Инициализация llama.cpp...")
 llm = Llama(
     model_path=model_path,
-    n_ctx=4096,        # можно увеличить до 8192 если хватит RAM
-    n_threads=4,       # для CPU Space
-    verbose=True
+    n_ctx=4096,
+    n_threads=4,
+    verbose=False
 )
+print("Модель готова!")
 
-# === 4. FastAPI приложение ===
-app = FastAPI()
+# === ThreadPool для неблокирующей генерации ===
+executor = ThreadPoolExecutor(max_workers=1)
 
-@app.post("/v1/chat/completions")
-async def chat(request: dict):
-    messages = request.get("messages", [])
-    response = llm.create_chat_completion(
-        messages=messages,
-        temperature=request.get("temperature", 0.7),
-        max_tokens=request.get("max_tokens", 512)
-    )
-    return response
+app = FastAPI()
 
 @app.get("/")
-async def health():
+def health():
     return {"status": "ok", "model": "proxima-b-instruct-q5_0"}
 
-@app.get("/health")
-async def health_check():
-    return {"status": "alive"}
+# !!! СИНХРОННЫЙ endpoint (не async) !!!
+@app.post("/v1/chat/completions")
+def chat(request: dict):
+    print(f"[{time.strftime('%H:%M:%S')}] Запрос: {str(request)[:200]}")
+    
+    messages = request.get("messages", [])
+    max_tokens = request.get("max_tokens", 128)
+    
+    print(f"Генерация начата (max_tokens={max_tokens})...")
+    start = time.time()
+    
+    try:
+        response = llm.create_chat_completion(
+            messages=messages,
+            max_tokens=max_tokens,
+            temperature=request.get("temperature", 0.7),
+            stop=request.get("stop", []),
+            stream=False
+        )
+        print(f"Генерация завершена за {time.time()-start:.1f} сек")
+        return response
+        
+    except Exception as e:
+        print(f"ОШИБКА генерации: {e}")
+        return {"error": str(e)}
 
-# === 5. ЗАПУСК СЕРВЕРА ===
-# uvicorn.run — это БЛОКИРУЮЩИЙ вызов, он держит контейнер открытым
 if __name__ == "__main__":
-    print("Запуск uvicorn на 0.0.0.0:7860...")
     uvicorn.run(app, host="0.0.0.0", port=7860)