Sanya2025 commited on
Commit
ae57780
·
verified ·
1 Parent(s): efb4a29

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +4 -4
app.py CHANGED
@@ -5,18 +5,18 @@ import os
5
 
6
  app = FastAPI()
7
 
8
- # Скачиваем GGUF при первом старте (или добавьте в образ через Dockerfile)
9
  model_path = hf_hub_download(
10
  repo_id="Sanya2025/Proxima_B-instruct-Q5_0-GGUF",
11
- filename="Proxima_B-instruct-Q5_0-GGUF.gguf"
12
- )
13
 
14
  llm = Llama(
15
  model_path=model_path,
16
  n_ctx=4096,
17
  n_threads=4,
18
  verbose=False
19
- )
20
 
21
  @app.post("/v1/chat/completions")
22
  async def chat(request: dict):
 
5
 
6
  app = FastAPI()
7
 
8
+ # ✅ Исправленное имя файла — точно как в репозитории
9
  model_path = hf_hub_download(
10
  repo_id="Sanya2025/Proxima_B-instruct-Q5_0-GGUF",
11
+ filename="proxima_b-instruct-q5_0.gguf" # ← нижний регистр, подчёркивания!
12
+ )
13
 
14
  llm = Llama(
15
  model_path=model_path,
16
  n_ctx=4096,
17
  n_threads=4,
18
  verbose=False
19
+ )
20
 
21
  @app.post("/v1/chat/completions")
22
  async def chat(request: dict):