80sspace commited on
Commit
ae55732
·
verified ·
1 Parent(s): 51cca16

Upload 2 files

Browse files
Files changed (2) hide show
  1. app.py +91 -64
  2. requirements.txt +6 -1
app.py CHANGED
@@ -1,64 +1,91 @@
1
- import gradio as gr
2
- from huggingface_hub import InferenceClient
3
-
4
- """
5
- For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
6
- """
7
- client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
8
-
9
-
10
- def respond(
11
- message,
12
- history: list[tuple[str, str]],
13
- system_message,
14
- max_tokens,
15
- temperature,
16
- top_p,
17
- ):
18
- messages = [{"role": "system", "content": system_message}]
19
-
20
- for val in history:
21
- if val[0]:
22
- messages.append({"role": "user", "content": val[0]})
23
- if val[1]:
24
- messages.append({"role": "assistant", "content": val[1]})
25
-
26
- messages.append({"role": "user", "content": message})
27
-
28
- response = ""
29
-
30
- for message in client.chat_completion(
31
- messages,
32
- max_tokens=max_tokens,
33
- stream=True,
34
- temperature=temperature,
35
- top_p=top_p,
36
- ):
37
- token = message.choices[0].delta.content
38
-
39
- response += token
40
- yield response
41
-
42
-
43
- """
44
- For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
45
- """
46
- demo = gr.ChatInterface(
47
- respond,
48
- additional_inputs=[
49
- gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
50
- gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
51
- gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
52
- gr.Slider(
53
- minimum=0.1,
54
- maximum=1.0,
55
- value=0.95,
56
- step=0.05,
57
- label="Top-p (nucleus sampling)",
58
- ),
59
- ],
60
- )
61
-
62
-
63
- if __name__ == "__main__":
64
- demo.launch()
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # ✅ Instala dependencias (si usas Colab)
2
+ # !pip install transformers accelerate gradio googletrans==4.0.0-rc1 gTTS --quiet
3
+
4
+ from transformers import AutoTokenizer, AutoModelForCausalLM
5
+ from googletrans import Translator
6
+ from gtts import gTTS
7
+ import torch
8
+ import gradio as gr
9
+ import tempfile
10
+
11
+ # ✅ Cargar modelo GPT-J
12
+ model_name = "EleutherAI/gpt-j-6B"
13
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
14
+ model = AutoModelForCausalLM.from_pretrained(
15
+ model_name,
16
+ torch_dtype=torch.float16,
17
+ revision="float16",
18
+ low_cpu_mem_usage=True,
19
+ device_map="auto"
20
+ )
21
+
22
+ # ✅ Configuración de traducción e instrucciones
23
+ traductor = Translator()
24
+ instrucciones_sistema = (
25
+ "Tu nombre es 80SECONSPACE. Eres una IA amigable, clara y con humor sutil. "
26
+ "Eres un asistente escolar que ayuda con tareas como matemáticas, ciencia, historia y redacción. "
27
+ "Siempre explicas con ejemplos simples si notas confusión. Hablas en el idioma del usuario y recuerdas lo que dijo antes."
28
+ )
29
+
30
+ # ✅ Función principal de respuesta
31
+ def responder(audio, history):
32
+ if history is None:
33
+ history = []
34
+
35
+ if isinstance(audio, tuple):
36
+ audio = audio[0]
37
+ if not audio or audio.strip() == "":
38
+ return "No escuché nada. ¿Podrías repetir?", history, None
39
+
40
+ idioma = traductor.detect(audio).lang
41
+ if idioma not in ["es", "en"]:
42
+ idioma = "es"
43
+
44
+ entrada_en = traductor.translate(audio, src=idioma, dest="en").text
45
+
46
+ prompt = f"{instrucciones_sistema}\n\n"
47
+ for user, bot in history:
48
+ prompt += f"Usuario: {user}\n80SECONSPACE: {bot}\n"
49
+ prompt += f"Usuario: {entrada_en}\n80SECONSPACE:"
50
+
51
+ inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=2048).to(model.device)
52
+ outputs = model.generate(
53
+ **inputs,
54
+ max_length=256,
55
+ temperature=0.7,
56
+ top_p=0.9,
57
+ do_sample=True,
58
+ pad_token_id=tokenizer.eos_token_id
59
+ )
60
+
61
+ respuesta_en = tokenizer.decode(outputs[0], skip_special_tokens=True).split("80SECONSPACE:")[-1].strip()
62
+ respuesta_final = traductor.translate(respuesta_en, src="en", dest=idioma).text
63
+
64
+ tts = gTTS(text=respuesta_final, lang=idioma)
65
+ path_audio = tempfile.mktemp(suffix=".mp3")
66
+ tts.save(path_audio)
67
+
68
+ history.append((audio, respuesta_final))
69
+ return respuesta_final, history, path_audio
70
+
71
+ # ✅ Función para reiniciar la conversación
72
+ def reiniciar():
73
+ return None, [], None
74
+
75
+ # ✅ Interfaz con Gradio
76
+ with gr.Blocks(title="80SECONSPACE - Asistente Escolar con Voz") as demo:
77
+ gr.Markdown("# 🤖 80SECONSPACE – Asistente Escolar con Voz, Memoria y Traducción")
78
+ gr.Markdown("Haz preguntas sobre tareas. 80SECONSPACE te responde con voz, en tu idioma, y recuerda lo que le dijiste.")
79
+
80
+ with gr.Row():
81
+ entrada_audio = gr.Audio(source="microphone", type="filepath", label="🎤 Pregunta hablada")
82
+ boton_reiniciar = gr.Button("🔄 Reiniciar conversación")
83
+
84
+ salida_texto = gr.Textbox(label="📘 Respuesta de 80SECONSPACE")
85
+ salida_audio = gr.Audio(label="🔊 Voz de 80SECONSPACE")
86
+ estado_memoria = gr.State([])
87
+
88
+ boton_reiniciar.click(fn=reiniciar, outputs=[salida_texto, estado_memoria, salida_audio])
89
+ entrada_audio.change(fn=responder, inputs=[entrada_audio, estado_memoria], outputs=[salida_texto, estado_memoria, salida_audio])
90
+
91
+ demo.launch()
requirements.txt CHANGED
@@ -1 +1,6 @@
1
- huggingface_hub==0.25.2
 
 
 
 
 
 
1
+ transformers
2
+ accelerate
3
+ torch
4
+ gradio
5
+ googletrans==4.0.0-rc1
6
+ gTTS