Pierber commited on
Commit
1c30daf
·
verified ·
1 Parent(s): 5844d3a

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +43 -43
app.py CHANGED
@@ -1,57 +1,57 @@
1
  import gradio as gr
2
- from openai import OpenAI # Usiamo la libreria più solida del mondo
 
3
 
4
- # --- TUA CHIAVE GROQ ---
5
- # La libreria OpenAI funziona con Groq se cambiamo l'indirizzo base!
6
- API_KEY = "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"
 
 
 
 
 
7
 
8
  def rispondi_a_marco(messaggio, storia):
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
9
  try:
10
- # 1. Configurazione Client (Simuliamo OpenAI ma usiamo Groq)
11
- client = OpenAI(
12
- api_key=API_KEY,
13
- base_url="https://api.groq.com/openai/v1" # <--- IL TRUCCO È QUI
 
 
 
 
14
  )
15
-
16
- # 2. Il Prompt di Marco
17
- system_prompt = """
18
- SEI MARCO, 14 ANNI.
19
- Sei uno studente svogliato, sarcastico e ribelle.
20
- Odi la scuola. Rispondi male ai professori.
21
- Usa slang ("Boh", "Che ansia", "Raga", "Cringe").
22
- Rispondi in massimo 2 frasi.
23
- NON offrire mai aiuto.
24
- """
25
-
26
- # 3. Costruzione Memoria
27
- messages = [{"role": "system", "content": system_prompt}]
28
-
29
- for turno in storia:
30
- if turno[0] and turno[1]:
31
- messages.append({"role": "user", "content": str(turno[0])})
32
- messages.append({"role": "assistant", "content": str(turno[1])})
33
 
34
- messages.append({"role": "user", "content": messaggio})
35
-
36
- # 4. Chiamata (Senza Streaming per massima sicurezza)
37
- response = client.chat.completions.create(
38
- model="llama-3.3-70b-versatile", # Usiamo il modello potente di Groq
39
- messages=messages,
40
- temperature=0.8,
41
- max_tokens=150,
42
- timeout=10 # Se non risponde in 10 secondi, taglia
43
- )
44
-
45
- return response.choices[0].message.content
46
-
47
  except Exception as e:
48
- return f"⚠️ ERRORE: {str(e)}"
49
 
50
- # Interfaccia Semplice
51
  demo = gr.ChatInterface(
52
  fn=rispondi_a_marco,
53
- title="Project Janus: Marco (Via OpenAI Lib)",
54
- description="Se questo non va, è colpa del Wi-Fi di Hugging Face."
 
55
  )
56
 
57
  if __name__ == "__main__":
 
1
  import gradio as gr
2
+ from huggingface_hub import InferenceClient
3
+ import os
4
 
5
+ # --- TOKEN ---
6
+ # Assicurati che HF_TOKEN sia nei Secrets, oppure incollalo qui tra virgolette
7
+ token = os.environ.get("HF_TOKEN")
8
+
9
+ # USIAMO QWEN 2.5 7B (Modello Cinese di Alibaba)
10
+ # È famoso per essere estremamente veloce ed efficiente.
11
+ # Questo riduce drasticamente il rischio di Timeout (Errore 0).
12
+ client = InferenceClient("Qwen/Qwen2.5-7B-Instruct", token=token)
13
 
14
  def rispondi_a_marco(messaggio, storia):
15
+ system_prompt = """
16
+ SEI MARCO, 14 ANNI.
17
+ Sei uno studente svogliato, sarcastico e ribelle.
18
+ Odi la scuola. Rispondi male ai professori.
19
+ Usa slang ("Boh", "Che ansia", "Raga", "Cringe").
20
+ Rispondi in massimo 2 frasi. Non essere mai servizievole.
21
+ """
22
+
23
+ messages = [{"role": "system", "content": system_prompt}]
24
+
25
+ # Memoria
26
+ for turno in storia:
27
+ if turno[0] and turno[1]:
28
+ messages.append({"role": "user", "content": str(turno[0])})
29
+ messages.append({"role": "assistant", "content": str(turno[1])})
30
+
31
+ messages.append({"role": "user", "content": messaggio})
32
+
33
  try:
34
+ # --- MODALITÀ VELOCITÀ (NO STREAMING) ---
35
+ # Qwen 7B è così veloce che non serve lo streaming.
36
+ # Chiediamo la risposta completa subito. È molto più stabile.
37
+ risposta = client.chat_completion(
38
+ messages,
39
+ max_tokens=150,
40
+ stream=False,
41
+ temperature=0.8
42
  )
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
43
 
44
+ return risposta.choices[0].message.content
45
+
 
 
 
 
 
 
 
 
 
 
 
46
  except Exception as e:
47
+ return f"⚠️ ERRORE: {str(e)} - Prova a ricaricare la pagina."
48
 
49
+ # Interfaccia
50
  demo = gr.ChatInterface(
51
  fn=rispondi_a_marco,
52
+ title="Project Janus: Marco (Qwen 7B)",
53
+ description="Motore: Qwen 2.5 (Alibaba). Ottimizzato per la stabilità.",
54
+ theme="soft"
55
  )
56
 
57
  if __name__ == "__main__":