adbeg commited on
Commit
7ae75f5
·
verified ·
1 Parent(s): 85d8219

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +39 -21
app.py CHANGED
@@ -5,17 +5,20 @@ from pydantic import BaseModel
5
  from llama_cpp import Llama
6
  from fastapi.middleware.cors import CORSMiddleware
7
 
8
- MODEL_URL = "https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf/resolve/main/Phi-3-mini-4k-instruct-q4.gguf"
9
- MODEL_PATH = "Phi-3-mini-4k-instruct-q4.gguf"
 
10
 
11
- print("--- Vérification / Téléchargement du modèle ---")
12
  if not os.path.exists(MODEL_PATH):
13
- print("Le modèle est absent. Téléchargement direct sur le serveur en cours...")
14
- # Cette ligne télécharge le fichier de 2.4 Go directement sur le disque cloud de Hugging Face
15
- urllib.request.urlretrieve(MODEL_URL, MODEL_PATH)
16
- print("Téléchargement terminé avec succès !")
 
 
17
  else:
18
- print("Le modèle est déjà présent sur le disque.")
19
 
20
  app = FastAPI()
21
 
@@ -27,10 +30,14 @@ app.add_middleware(
27
  allow_headers=["*"],
28
  )
29
 
30
- # Chargement du modèle en mémoire RAM
31
- print("Chargement de l'IA en RAM...")
32
- llm = Llama(model_path=MODEL_PATH, n_ctx=2048, n_threads=2)
33
- print("IA opérationnelle !")
 
 
 
 
34
 
35
  class ChatRequest(BaseModel):
36
  message: str
@@ -38,10 +45,18 @@ class ChatRequest(BaseModel):
38
 
39
  @app.get("/")
40
  def root_check():
41
- return {"status": "BEGA AI API is running"}
42
 
43
  @app.post("/api/chat")
44
  def chat_endpoint(req: ChatRequest):
 
 
 
 
 
 
 
 
45
  prompt = (
46
  "You are BEGA AI, a helpful AI assistant developed by BEGA Company. "
47
  "Reply in the same language used in the user's message.\n\n"
@@ -52,11 +67,14 @@ def chat_endpoint(req: ChatRequest):
52
 
53
  prompt += f"User: {req.message}\nAssistant:"
54
 
55
- output = llm(
56
- prompt,
57
- max_tokens=350,
58
- stop=["User:", "\nUser:", "Assistant:", "\nAssistant:"],
59
- temperature=0.3
60
- )
61
- reply = output['choices'][0]['text'].strip()
62
- return {"response": reply}
 
 
 
 
5
  from llama_cpp import Llama
6
  from fastapi.middleware.cors import CORSMiddleware
7
 
8
+ # Lien direct vers un GGUF Llama-3.1 8B optimisé pour les petites RAM
9
+ MODEL_URL = "https://huggingface.co/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF/resolve/main/Meta-Llama-3.1-8B-Instruct-Q2_K.gguf"
10
+ MODEL_PATH = "llama-3.1-8B-Q2_K.gguf"
11
 
12
+ print("--- Vérification du modèle Llama-3.1 8B ---")
13
  if not os.path.exists(MODEL_PATH):
14
+ print("Téléchargement de Llama 8B (veuillez patienter quelques minutes)...")
15
+ try:
16
+ urllib.request.urlretrieve(MODEL_URL, MODEL_PATH)
17
+ print("Téléchargement réussi !")
18
+ except Exception as e:
19
+ print(f"Erreur lors du téléchargement : {e}")
20
  else:
21
+ print("Le fichier du modèle Llama est détecté sur le disque.")
22
 
23
  app = FastAPI()
24
 
 
30
  allow_headers=["*"],
31
  )
32
 
33
+ print("--- Chargement du modèle Llama en mémoire RAM ---")
34
+ llm = None
35
+ try:
36
+ # n_ctx=1024 réduit pour éviter de saturer la RAM avec un modèle 8B
37
+ llm = Llama(model_path=MODEL_PATH, n_ctx=1024, n_threads=2)
38
+ print("Modèle Llama correctement initialisé !")
39
+ except Exception as e:
40
+ print(f"Erreur critique lors de l'initialisation de Llama : {e}")
41
 
42
  class ChatRequest(BaseModel):
43
  message: str
 
45
 
46
  @app.get("/")
47
  def root_check():
48
+ return {"status": "BEGA AI API is running with Llama-3.1-8B"}
49
 
50
  @app.post("/api/chat")
51
  def chat_endpoint(req: ChatRequest):
52
+ global llm
53
+ if llm is None:
54
+ raise HTTPException(
55
+ status_code=500,
56
+ detail="Le modèle IA n'a pas pu être chargé."
57
+ )
58
+
59
+ # Prompt système adapté au format de Llama 3
60
  prompt = (
61
  "You are BEGA AI, a helpful AI assistant developed by BEGA Company. "
62
  "Reply in the same language used in the user's message.\n\n"
 
67
 
68
  prompt += f"User: {req.message}\nAssistant:"
69
 
70
+ try:
71
+ output = llm(
72
+ prompt,
73
+ max_tokens=250,
74
+ stop=["User:", "\nUser:", "Assistant:", "\nAssistant:"],
75
+ temperature=0.4
76
+ )
77
+ reply = output['choices'][0]['text'].strip()
78
+ return {"response": reply}
79
+ except Exception as e:
80
+ raise HTTPException(status_code=500, detail=str(e))