Ainsophic/TinyText-JEPA

TT-JEPA (TinyText Joint-Embedding Predictive Architecture) - Spanish Pilot Model

Este modelo es un prototipo experimental que implementa una Arquitectura Predictiva de Incrustaciones Conjuntas (JEPA) optimizada para procesamiento de textos cortos en español de forma ultraeficiente.

Entrenado bajo el paradigma de aprendizaje autosupertisado latente, el objetivo principal es aprender representaciones semánticas continuas y robustas a partir de fragmentos de texto en español sin depender de decodificación generativa de tokens durante el entrenamiento base del codificador.

📌 Arquitectura y Metodología

1. Online Encoder: Un codificador Transformer bidireccional compacto de 1 capa y 4 cabezales de atención, encargado de proyectar secuencias de texto enmascaradas (Span Masking del 35%).
2. Target Encoder: Una copia exacta del codificador que recibe actualizaciones lentas a través de un promedio móvil exponencial (EMA) con un factor de momentum de 0.996. Procesa la secuencia de texto completa sin máscara.
3. Predictor: Un MLP de 2 capas que mapea las representaciones del codificador enmascarado hacia el espacio latente del codificador objetivo.
4. Generative Decoder (Fase A/B): Un decodificador GRU causal ligero acoplado de forma post-hoc para validar la retención semántica y permitir tareas de generación libre a partir de los vectores latentes del espacio JEPA.

📊 Especificaciones del Entrenamiento Pilotado

• Dataset: FineWiki Spanish Subset (eswiki), procesado y filtrado a nivel de documentos independientes para garantizar que las particiones de entrenamiento y validación sean estrictamente disjuntas.
• Vocabulario: Tokenizador de tipo Unigram entrenado desde cero (SentencePiece) con un tamaño de vocabulario de 512 tokens (incluyendo el token especial de máscara [MASK]).
• Dimensión de Entrada: 64 tokens por bloque.
• Optimización: AdamW, con tasa de aprendizaje de 3e-4 y recorte de gradientes (norma máxima de 1.0).

📈 Resultados y Diagnósticos de Representación

• Pérdida Final de Entrenamiento (JEPA): 0.5429 (distancia de coseno).
• Pérdida de Validación: 0.5257.
• Rango Efectivo de los Embeddings (Métrica Anti-Colapso): 7.32 (indicando una dispersión dimensional de alta calidad libre de colapso latente catastrófico sobre el conjunto de pruebas real de FineWiki).
• Desviación Estándar Promedio de Dimensiones: 0.0532.
• Pérdida del Decodificador Generativo (Alineación Semántica): Convergencia de reconstrucción de 4.93 a 2.40 en 30 épocas.

💻 Cómo utilizar el modelo

import torch
import sentencepiece as spm
from safetensors.torch import load_file

# Carga del tokenizador y el codificador
sp = spm.SentencePieceProcessor(model_file="tokenizer.model")
# Inicializa el TinyTextEncoder con la configuración descrita en config.json
# encoder_state = load_file("encoder.safetensors")

---

Nota: Este artefacto es parte de un experimento de investigación (TT-JEPA v0.1). Las métricas reportadas corresponden a ejecuciones del prototipo y están sujetas a variaciones en la escala final de evaluación.