adbeg commited on
Commit
4ec65b6
·
verified ·
1 Parent(s): 5337c60

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +22 -32
app.py CHANGED
@@ -1,16 +1,21 @@
1
  import os
 
2
  from fastapi import FastAPI, HTTPException
3
  from pydantic import BaseModel
4
  from llama_cpp import Llama
5
  from fastapi.middleware.cors import CORSMiddleware
6
 
 
7
  MODEL_PATH = "Phi-3-mini-4k-instruct-q4.gguf"
8
 
9
- print("--- Vérification du modèle sur le disque ---")
10
- if os.path.exists(MODEL_PATH):
11
- print(f"Le fichier {MODEL_PATH} est bien présent.")
 
 
 
12
  else:
13
- print(f"ATTENTION : Le fichier {MODEL_PATH} est introuvable !")
14
 
15
  app = FastAPI()
16
 
@@ -22,14 +27,10 @@ app.add_middleware(
22
  allow_headers=["*"],
23
  )
24
 
25
- print("--- Chargement du modèle IA en mémoire RAM ---")
26
- llm = None
27
- try:
28
- # Initialisation de llama-cpp avec le modèle pré-téléchargé
29
- llm = Llama(model_path=MODEL_PATH, n_ctx=2048, n_threads=2)
30
- print("Modèle chargé en mémoire avec succès.")
31
- except Exception as e:
32
- print(f"ERREUR CRITIQUE lors du chargement : {e}")
33
 
34
  class ChatRequest(BaseModel):
35
  message: str
@@ -37,17 +38,10 @@ class ChatRequest(BaseModel):
37
 
38
  @app.get("/")
39
  def root_check():
40
- return {"status": "BEGA AI API is running", "endpoints": ["/docs", "/api/chat"]}
41
 
42
  @app.post("/api/chat")
43
  def chat_endpoint(req: ChatRequest):
44
- global llm
45
- if llm is None:
46
- raise HTTPException(
47
- status_code=500,
48
- detail="Le modèle IA n'a pas pu être chargé au démarrage. Vérifiez les logs de build."
49
- )
50
-
51
  prompt = (
52
  "You are BEGA AI, a helpful AI assistant developed by BEGA Company. "
53
  "Reply in the same language used in the user's message.\n\n"
@@ -58,15 +52,11 @@ def chat_endpoint(req: ChatRequest):
58
 
59
  prompt += f"User: {req.message}\nAssistant:"
60
 
61
- try:
62
- output = llm(
63
- prompt,
64
- max_tokens=350,
65
- stop=["User:", "\nUser:", "Assistant:", "\nAssistant:"],
66
- temperature=0.3
67
- )
68
- reply = output['choices'][0]['text'].strip()
69
- return {"response": reply}
70
-
71
- except Exception as e:
72
- raise HTTPException(status_code=500, detail=str(e))
 
1
  import os
2
+ import urllib.request
3
  from fastapi import FastAPI, HTTPException
4
  from pydantic import BaseModel
5
  from llama_cpp import Llama
6
  from fastapi.middleware.cors import CORSMiddleware
7
 
8
+ MODEL_URL = "https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf/resolve/main/Phi-3-mini-4k-instruct-q4.gguf"
9
  MODEL_PATH = "Phi-3-mini-4k-instruct-q4.gguf"
10
 
11
+ print("--- Vérification / Téléchargement du modèle ---")
12
+ if not os.path.exists(MODEL_PATH):
13
+ print("Le modèle est absent. Téléchargement direct sur le serveur en cours...")
14
+ # Cette ligne télécharge le fichier de 2.4 Go directement sur le disque cloud de Hugging Face
15
+ urllib.request.urlretrieve(MODEL_URL, MODEL_PATH)
16
+ print("Téléchargement terminé avec succès !")
17
  else:
18
+ print("Le modèle est déjà présent sur le disque.")
19
 
20
  app = FastAPI()
21
 
 
27
  allow_headers=["*"],
28
  )
29
 
30
+ # Chargement du modèle en mémoire RAM
31
+ print("Chargement de l'IA en RAM...")
32
+ llm = Llama(model_path=MODEL_PATH, n_ctx=2048, n_threads=2)
33
+ print("IA opérationnelle !")
 
 
 
 
34
 
35
  class ChatRequest(BaseModel):
36
  message: str
 
38
 
39
  @app.get("/")
40
  def root_check():
41
+ return {"status": "BEGA AI API is running"}
42
 
43
  @app.post("/api/chat")
44
  def chat_endpoint(req: ChatRequest):
 
 
 
 
 
 
 
45
  prompt = (
46
  "You are BEGA AI, a helpful AI assistant developed by BEGA Company. "
47
  "Reply in the same language used in the user's message.\n\n"
 
52
 
53
  prompt += f"User: {req.message}\nAssistant:"
54
 
55
+ output = llm(
56
+ prompt,
57
+ max_tokens=350,
58
+ stop=["User:", "\nUser:", "Assistant:", "\nAssistant:"],
59
+ temperature=0.3
60
+ )
61
+ reply = output['choices'][0]['text'].strip()
62
+ return {"response": reply}