80sspace commited on
Commit
f2ff564
·
verified ·
1 Parent(s): ae55732

Upload 2 files

Browse files
Files changed (2) hide show
  1. app.py +60 -60
  2. requirements.txt +3 -2
app.py CHANGED
@@ -1,67 +1,67 @@
1
- # ✅ Instala dependencias (si usas Colab)
2
- # !pip install transformers accelerate gradio googletrans==4.0.0-rc1 gTTS --quiet
3
-
4
- from transformers import AutoTokenizer, AutoModelForCausalLM
5
- from googletrans import Translator
6
- from gtts import gTTS
7
- import torch
8
  import gradio as gr
9
- import tempfile
10
-
11
- # ✅ Cargar modelo GPT-J
12
- model_name = "EleutherAI/gpt-j-6B"
13
- tokenizer = AutoTokenizer.from_pretrained(model_name)
14
- model = AutoModelForCausalLM.from_pretrained(
15
- model_name,
16
- torch_dtype=torch.float16,
17
- revision="float16",
18
- low_cpu_mem_usage=True,
19
- device_map="auto"
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
20
  )
21
 
22
- # ✅ Configuración de traducción e instrucciones
23
- traductor = Translator()
24
- instrucciones_sistema = (
25
- "Tu nombre es 80SECONSPACE. Eres una IA amigable, clara y con humor sutil. "
26
- "Eres un asistente escolar que ayuda con tareas como matemáticas, ciencia, historia y redacción. "
27
- "Siempre explicas con ejemplos simples si notas confusión. Hablas en el idioma del usuario y recuerdas lo que dijo antes."
28
- )
29
 
30
- # ✅ Función principal de respuesta
31
- def responder(audio, history):
32
- if history is None:
33
- history = []
34
-
35
- if isinstance(audio, tuple):
36
- audio = audio[0]
37
- if not audio or audio.strip() == "":
38
- return "No escuché nada. ¿Podrías repetir?", history, None
39
-
40
- idioma = traductor.detect(audio).lang
41
- if idioma not in ["es", "en"]:
42
- idioma = "es"
43
-
44
- entrada_en = traductor.translate(audio, src=idioma, dest="en").text
45
-
46
- prompt = f"{instrucciones_sistema}\n\n"
47
- for user, bot in history:
48
- prompt += f"Usuario: {user}\n80SECONSPACE: {bot}\n"
49
- prompt += f"Usuario: {entrada_en}\n80SECONSPACE:"
50
-
51
- inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=2048).to(model.device)
52
- outputs = model.generate(
53
- **inputs,
54
- max_length=256,
55
- temperature=0.7,
56
- top_p=0.9,
57
- do_sample=True,
58
- pad_token_id=tokenizer.eos_token_id
59
- )
60
-
61
- respuesta_en = tokenizer.decode(outputs[0], skip_special_tokens=True).split("80SECONSPACE:")[-1].strip()
62
- respuesta_final = traductor.translate(respuesta_en, src="en", dest=idioma).text
63
-
64
- tts = gTTS(text=respuesta_final, lang=idioma)
65
  path_audio = tempfile.mktemp(suffix=".mp3")
66
  tts.save(path_audio)
67
 
 
 
 
 
 
 
 
 
1
  import gradio as gr
2
+ from huggingface_hub import InferenceClient
3
+
4
+ """
5
+ For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
6
+ """
7
+ client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
8
+
9
+
10
+ def respond(
11
+ message,
12
+ history: list[tuple[str, str]],
13
+ system_message,
14
+ max_tokens,
15
+ temperature,
16
+ top_p,
17
+ ):
18
+ messages = [{"role": "system", "content": system_message}]
19
+
20
+ for val in history:
21
+ if val[0]:
22
+ messages.append({"role": "user", "content": val[0]})
23
+ if val[1]:
24
+ messages.append({"role": "assistant", "content": val[1]})
25
+
26
+ messages.append({"role": "user", "content": message})
27
+
28
+ response = ""
29
+
30
+ for message in client.chat_completion(
31
+ messages,
32
+ max_tokens=max_tokens,
33
+ stream=True,
34
+ temperature=temperature,
35
+ top_p=top_p,
36
+ ):
37
+ token = message.choices[0].delta.content
38
+
39
+ response += token
40
+ yield response
41
+
42
+
43
+ """
44
+ For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
45
+ """
46
+ demo = gr.ChatInterface(
47
+ respond,
48
+ additional_inputs=[
49
+ gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
50
+ gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
51
+ gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
52
+ gr.Slider(
53
+ minimum=0.1,
54
+ maximum=1.0,
55
+ value=0.95,
56
+ step=0.05,
57
+ label="Top-p (nucleus sampling)",
58
+ ),
59
+ ],
60
  )
61
 
 
 
 
 
 
 
 
62
 
63
+ if __name__ == "__main__":
64
+ demo.launch()
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
65
  path_audio = tempfile.mktemp(suffix=".mp3")
66
  tts.save(path_audio)
67
 
requirements.txt CHANGED
@@ -1,6 +1,7 @@
1
- transformers
2
  accelerate
3
  torch
4
  gradio
5
- googletrans==4.0.0-rc1
6
  gTTS
 
 
1
+ huggingface_hub==0.25.2
2
  accelerate
3
  torch
4
  gradio
5
+ googletrans==3.1.0a0
6
  gTTS
7
+ httpcore==0.15.0