File size: 12,463 Bytes
d873cc4
 
 
 
 
 
 
 
 
dcc5972
d873cc4
 
 
d10a929
d873cc4
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
dcc5972
d873cc4
d10a929
dcc5972
d873cc4
 
 
d10a929
d873cc4
 
 
 
 
 
 
 
 
 
 
6396ba1
d10a929
6396ba1
 
 
 
 
 
 
 
 
 
 
 
 
d10a929
6396ba1
 
 
 
 
 
 
 
 
 
 
 
 
 
 
d10a929
6396ba1
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
d10a929
 
 
 
 
 
 
 
 
6396ba1
d10a929
 
 
 
 
 
 
 
 
 
6396ba1
d10a929
 
6396ba1
d10a929
6396ba1
d10a929
 
 
 
6396ba1
d873cc4
dcc5972
d873cc4
 
d10a929
d873cc4
 
 
dcc5972
 
d873cc4
 
dcc5972
d873cc4
 
d10a929
d873cc4
 
d10a929
d873cc4
6396ba1
 
d10a929
 
6396ba1
 
 
d10a929
d873cc4
 
6396ba1
d873cc4
d10a929
 
 
 
 
 
 
 
 
 
6396ba1
 
 
 
 
 
 
d873cc4
 
 
 
 
 
 
 
 
 
 
 
 
d10a929
 
d873cc4
d10a929
 
 
 
 
 
 
d873cc4
 
d10a929
d873cc4
d10a929
 
 
 
 
 
 
 
 
 
d873cc4
 
d10a929
 
 
 
 
 
d873cc4
 
 
d10a929
 
d873cc4
d10a929
 
 
 
 
 
 
 
 
 
 
 
 
6396ba1
d10a929
 
 
 
 
d873cc4
 
 
 
 
 
224c102
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
# Clasificador de mensajes en emergencias - CrisisBench
# Proyecto final Tecnicas de Aprendizaje de Maquina - PUJ 2026-2

import re
import html
import ftfy
import pickle
import torch
import gradio as gr
import spaces
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# ============================================================
# 1. PREPROCESAMIENTO
# ============================================================
RT_RE = re.compile(r'^(rt\s+@\w+:?\s*)+')
URL_RE = re.compile(r'https?://\S+|www\.\S+')
USER_RE = re.compile(r'@\w+')
HASH_RE = re.compile(r'#(\w+)')
WS_RE = re.compile(r'\s+')

def limpiar(t: str) -> str:
    t = ftfy.fix_text(t)
    t = html.unescape(t)
    t = RT_RE.sub("", t)
    t = URL_RE.sub(" <URL> ", t)
    t = USER_RE.sub(" <USER> ", t)
    t = HASH_RE.sub(lambda m: " " + re.sub(r"(?<=[a-z])(?=[A-Z])", " ", m.group(1)) + " ", t)
    return WS_RE.sub(" ", t).strip()

# ============================================================
# 2. CARGAR MODELOS
# ============================================================
print("Cargando XLM-R...")
XLM_PATH = "Danielamn026/crisisbench-xlmr"
tok = AutoTokenizer.from_pretrained(XLM_PATH)
model_xlm = AutoModelForSequenceClassification.from_pretrained(XLM_PATH)
model_xlm.eval()
print("XLM-R listo")

print("Cargando LogReg + TF-IDF...")
with open("logreg.pkl", "rb") as f:
    logreg = pickle.load(f)
with open("tfidf_vectorizer.pkl", "rb") as f:
    vec = pickle.load(f)
print("LogReg listo")

MAX_LEN = 64

# ============================================================
# 3. HEURISTICA: detectar mensajes propensos a etiqueta dudosa
# ============================================================
# Patrones observados en la revision manual de 100 mensajes (seccion 4.8 del cuaderno)
# donde el dataset marca "informativo" pero son condolencias/reacciones emocionales
PATRONES_CONDOLENCIA = [
    r'\b(pray|prayers|praying|rezar|rezando|oraciones?)\b',
    r'\b(fuerza|animo|anim[oó])\b',
    r'\b(thoughts?|pensamientos?)\s+(and|y)\s+(prayers?|oraciones?)\b',
    r'\b(condolencias?|condolences?)\b',
    r'\b(tristeza|triste|sad|sorry|lo\s+siento)\b',
    r'\b(que\s+(horror|tragedia|pena|lastima|desgracia))\b',
    r'\b(rest\s+in\s+peace|rip|descanse(n)?\s+en\s+paz|dep)\b',
    r'#(pray|fuerza|prayfor|rip\w*|descansa)',
]
RE_CONDOLENCIA = re.compile("|".join(PATRONES_CONDOLENCIA), re.IGNORECASE)

# Palabras tipicas de mensajes genuinamente operativos (si aparecen, es menos probable que sea solo condolencia)
PATRONES_OPERATIVO = [
    r'\b\d+\s*(muertos?|heridos?|desaparecidos?|dead|injured|missing|casualties?|victims?)\b',
    r'\b(evacuar|evacuation|rescate|rescue|emergencia|emergency|911|112|hospital)\b',
    r'\b(magnitud|magnitude|epicentro|epicenter|richter|escala)\b',
    r'\b(colapso|collapsed|destruyo|destroyed|derrumbe|hundio|sank)\b',
    r'\b(alert|alerta|aviso|warning|tsunami|replicas?|aftershock)\b',
]
RE_OPERATIVO = re.compile("|".join(PATRONES_OPERATIVO), re.IGNORECASE)

def detectar_caso_dudoso(texto: str, p_xlm: float, p_lr: float) -> str:
    """Devuelve HTML de aviso si el caso puede ser una etiqueta dudosa del dataset."""
    tiene_condolencia = bool(RE_CONDOLENCIA.search(texto))
    tiene_operativo = bool(RE_OPERATIVO.search(texto))
    ambos_altos = p_xlm >= 0.5 and p_lr >= 0.5

    # Caso tipico: parece condolencia, NO tiene datos operativos, y los modelos lo marcan como informativo
    if tiene_condolencia and not tiene_operativo and ambos_altos:
        return """
<div style="padding: 14px 18px; background: rgba(239, 68, 68, 0.08); border-left: 3px solid #ef4444; border-radius: 8px; color: #fca5a5; font-size: 13.5px; margin-top: 12px; line-height: 1.5;">
  <strong>⚠ Atencion: este es probablemente un caso de etiqueta dudosa del dataset.</strong><br>
  El mensaje contiene expresiones de condolencia o reaccion emocional (sin datos operativos concretos).
  La revision manual mostro que el 32% de los mensajes en espanol marcados como "informativo" en CrisisBench
  son en realidad de este tipo. Los modelos aprendieron ese sesgo. <strong>Para uso real, un humano deberia descartarlo.</strong>
</div>
"""
    return ""

# ============================================================
# 4. RENDER DE RESULTADOS
# ============================================================
def render_resultado(p_inf: float) -> str:
    es_inf = p_inf >= 0.5
    pct = p_inf * 100
    chip_bg = "#10b981" if es_inf else "#6b7280"
    chip_label = "INFORMATIVO" if es_inf else "NO INFORMATIVO"
    chip_icon = "✓" if es_inf else "✕"

    return f"""
<div style="padding: 16px; border-radius: 12px; background: rgba(255,255,255,0.03); border: 1px solid rgba(255,255,255,0.08);">
  <div style="display: inline-block; padding: 6px 14px; background: {chip_bg}; color: white; border-radius: 999px; font-weight: 700; font-size: 13px; letter-spacing: 0.5px;">
    {chip_icon} {chip_label}
  </div>
  <div style="margin-top: 14px; font-size: 13px; color: #9ca3af;">Probabilidad de ser informativo</div>
  <div style="display: flex; align-items: center; gap: 12px; margin-top: 6px;">
    <div style="flex: 1; background: rgba(255,255,255,0.08); height: 10px; border-radius: 999px; overflow: hidden;">
      <div style="width: {pct:.1f}%; height: 100%; background: linear-gradient(90deg, {chip_bg}dd, {chip_bg}); border-radius: 999px;"></div>
    </div>
    <div style="font-size: 20px; font-weight: 700; color: white; min-width: 70px; text-align: right;">{pct:.1f}%</div>
  </div>
</div>
"""

def render_acuerdo(pred_xlm_inf, pred_lr_inf) -> str:
    if pred_xlm_inf == pred_lr_inf:
        return """
<div style="padding: 12px 16px; background: rgba(16, 185, 129, 0.1); border-left: 3px solid #10b981; border-radius: 8px; color: #6ee7b7; font-size: 14px;">
  ✓ <strong>Los dos modelos coinciden.</strong>
</div>
"""
    return """
<div style="padding: 12px 16px; background: rgba(245, 158, 11, 0.1); border-left: 3px solid #f59e0b; border-radius: 8px; color: #fcd34d; font-size: 14px;">
  ⚠ <strong>Los modelos discrepan.</strong> Suele indicar un mensaje ambiguo o un vocabulario poco conocido para el modelo clasico.
</div>
"""

# ============================================================
# 5. INFERENCIA
# ============================================================
@spaces.GPU(duration=30)
def clasificar(mensaje: str):
    if not mensaje or not mensaje.strip():
        return "", "<div style='color:#9ca3af'>Esperando mensaje...</div>", "<div style='color:#9ca3af'>Esperando mensaje...</div>", ""

    texto_limpio = limpiar(mensaje)

    device = "cuda" if torch.cuda.is_available() else "cpu"
    model_xlm.to(device)
    with torch.no_grad():
        enc = tok(texto_limpio, padding="max_length", truncation=True,
                  max_length=MAX_LEN, return_tensors="pt").to(device)
        logits = model_xlm(**enc).logits
        probs_xlm = torch.softmax(logits, dim=-1).cpu().numpy()[0]
    p_xlm = float(probs_xlm[1])

    X = vec.transform([texto_limpio])
    p_lr = float(logreg.predict_proba(X)[0, 1])

    aviso_html = render_acuerdo(p_xlm >= 0.5, p_lr >= 0.5) + detectar_caso_dudoso(mensaje, p_xlm, p_lr)

    return (
        texto_limpio,
        render_resultado(p_xlm),
        render_resultado(p_lr),
        aviso_html,
    )

# ============================================================
# 6. INTERFAZ
# ============================================================
CUSTOM_CSS = """
.gradio-container { font-family: 'Inter', -apple-system, BlinkMacSystemFont, sans-serif !important; }
#header-banner {
  background: linear-gradient(135deg, #dc2626 0%, #f59e0b 100%);
  padding: 32px 28px;
  border-radius: 16px;
  margin-bottom: 24px;
  color: white;
  box-shadow: 0 10px 30px rgba(220, 38, 38, 0.25);
}
#header-banner h1 { margin: 0; font-size: 28px; font-weight: 800; color: white !important; }
#header-banner p { margin: 8px 0 0 0; opacity: 0.95; font-size: 15px; color: white !important; }
.model-title { font-size: 15px; font-weight: 700; margin-bottom: 4px; color: #f3f4f6; }
.model-subtitle { font-size: 12px; color: #9ca3af; margin-bottom: 12px; }
#footer-info { background: rgba(255,255,255,0.02); border-radius: 12px; padding: 20px 24px; margin-top: 24px; border: 1px solid rgba(255,255,255,0.05); }
#footer-info h3 { margin-top: 0; font-size: 16px; color: #f3f4f6; }
#footer-info ul { padding-left: 20px; color: #d1d5db; font-size: 13.5px; line-height: 1.6; }
"""

EJEMPLOS = [
    ["BREAKING: 7.2 magnitude earthquake hits coastal region, buildings collapsed in downtown area"],
    ["Our thoughts and prayers go out to everyone affected by the hurricane"],
    ["Alerta sanitaria oficial en Iquique tras sismo: no consumir agua de la red"],
    ["Que tristeza lo que pasa en Venezuela. #FuerzaVenezuela"],
    ["Rescue teams working to free 20 people trapped in collapsed hotel in downtown Port-au-Prince"],
    ["Peanut butter jelly sandwiches are the best"],
    ["RT @24HorasTVN: Imagen del conductor del tren accidentado en Espana da la vuelta al mundo"],
    ["Happy birthday bro @Hurricane_Dolce"],
]

with gr.Blocks(theme=gr.themes.Soft(primary_hue="red", secondary_hue="orange", neutral_hue="slate"),
               css=CUSTOM_CSS,
               title="CrisisBench Classifier") as app:

    gr.HTML("""
<div id="header-banner">
  <h1>🚨 Filtro de mensajes en emergencias</h1>
  <p>Clasifica tuits de desastres como <strong>informativos</strong> (datos operativos) o <strong>no informativos</strong> (opiniones, ruido). Compara dos modelos en vivo.</p>
</div>
""")

    with gr.Row():
        with gr.Column(scale=5):
            entrada = gr.Textbox(
                label="📝 Mensaje a clasificar",
                placeholder="Pega aqui un tuit, un mensaje de Facebook o un WhatsApp sobre un desastre...",
                lines=5,
            )
            boton = gr.Button("Clasificar mensaje", variant="primary", size="lg")
            gr.Examples(
                examples=EJEMPLOS,
                inputs=entrada,
                label="Prueba con estos ejemplos:",
                examples_per_page=8,
            )

        with gr.Column(scale=6):
            texto_limpio = gr.Textbox(
                label="🧼 Texto despues del preprocesamiento",
                interactive=False,
                lines=2,
            )

            with gr.Row():
                with gr.Column():
                    gr.HTML('<div class="model-title">XLM-RoBERTa (fine-tuned)</div><div class="model-subtitle">Transformer multilingue preentrenado · 94 idiomas · F1 macro test: 0.873</div>')
                    out_xlm = gr.HTML("<div style='color:#9ca3af; padding:16px;'>Esperando mensaje...</div>")
                with gr.Column():
                    gr.HTML('<div class="model-title">Regresion Logistica + TF-IDF</div><div class="model-subtitle">Modelo clasico rapido · F1 macro test: 0.856 · Costo cero</div>')
                    out_lr = gr.HTML("<div style='color:#9ca3af; padding:16px;'>Esperando mensaje...</div>")

            acuerdo = gr.HTML("")

    gr.HTML("""
<div id="footer-info">
  <h3>Sobre esta aplicacion</h3>
  <p style="color:#d1d5db; font-size:13.5px; line-height:1.6;">
    Proyecto final de <strong>Tecnicas de Aprendizaje de Maquina</strong> · Pontificia Universidad Javeriana 2026-2 · Dataset <a href="https://huggingface.co/datasets/timhigins/crisisbench" style="color:#fca5a5;">timhigins/crisisbench</a> (166k mensajes, 61 eventos de desastre, 7 idiomas).
  </p>
  <h3>Limitaciones conocidas</h3>
  <ul>
    <li><strong>Calidad de etiquetas</strong>: una revision manual de 100 mensajes mostro 18% de desacuerdo con la etiqueta oficial. Los modelos aprenden ese ruido. Por eso la app muestra un aviso cuando detecta un caso tipico de etiqueta dudosa.</li>
    <li><strong>Espanol</strong>: solo 3% del corpus, con 32% de etiquetas discutibles en la clase "informativo". Precision menor que en ingles.</li>
    <li><strong>Eventos nuevos</strong>: XLM-R generaliza mejor (caida de 9 puntos F1 en evento Chile dejado fuera) que LogReg (caida de 22 puntos).</li>
    <li><strong>No reemplaza a un humano</strong>: es un filtro de primer paso para reducir el volumen a revisar en una emergencia.</li>
  </ul>
</div>
""")

    boton.click(clasificar, inputs=entrada,
                outputs=[texto_limpio, out_xlm, out_lr, acuerdo])

if __name__ == "__main__":
    app.launch(server_name="0.0.0.0", server_port=7860, ssr_mode=False)