Model Card for meta-llama/Llama-3.2-1B-Instruct (Wiguel-AI Integrated)

Este Model Card detalla la integraciรณn, caracterรญsticas y modo de empleo de Llama-3.2-1B-Instruct como motor de lenguaje principal online en la aplicaciรณn Wiguel-AI, apoyรกndose de un sistema inteligente de conmutaciรณn offline.

Model Details

Model Description

Llama-3.2-1B-Instruct es parte de la colecciรณn de modelos ligeros de Meta orientados a tareas conversacionales de baja latencia y alta eficiencia. Con solo 1.23 mil millones de parรกmetros, estรก altamente optimizado para el procesamiento local y ejecuciones en la nube con coste nulo o mรญnimo de latencia mediante las APIs de Inferencia de Hugging Face.

En esta implementaciรณn dentro de Wiguel-AI, funciona mediante un sistema hรญbrido inteligente:

  • Modo Online: Utiliza la API de inferencia Serverless de Hugging Face (meta-llama/Llama-3.2-1B-Instruct) consumiendo tu clave personal HF_TOKEN.
  • Modo Offline: Al detectarse la pรฉrdida de conexiรณn a internet o fallos transitorios en el servicio cloud, el sistema conmuta automรกticamente (failover) a una instancia local de Ollama con el modelo personalizado wiguel-ai o local llama3.2:1b, garantizando disponibilidad absoluta e ininterrumpida de tu asistente de IA.
  • Developer: Meta Llama Team (Integraciรณn hรญbrida por Miguel Molina)
  • Model type: Transformer decoder-only language model
  • Language(s) (NLP): Espaรฑol, Inglรฉs (y soporta traducciรณn/instrucciones multilingรผes)
  • License: Llama 3.2 Community License Agreement (All rights reserved for individual customizations)
  • Mecanismo de Respaldo: Conexiรณn local a Ollama (Port 8765 de Wiguel Bridge)

Model Sources

Uses

Direct Use

Este modelo se utiliza como el cerebro conversacional de Wiguel-AI para:

  1. Responder consultas directas con un tiempo de respuesta inferior a 150ms gracias a su liviano tamaรฑo.
  2. Servir de asistente de voz en el mรณvil o escritorio a travรฉs de la interfaz web Progressive Web App (PWA) de pantalla completa optimizada para activarse mediante atajos de hardware.
  3. Asistir en la toma de notas rรกpidas, ejecuciรณn de comandos definidos de voz y control local de recursos conectados al puente Python local.

Downstream Use

Wiguel-AI encapsula este modelo en flujos de trabajo asรญncronos y streams React en tiempo real (WritableStream), permitiendo la generaciรณn de textos palabra a palabra directamente en la UI del chat de voz/texto.

Out-of-Scope Use

  • Generaciรณn de contenido daรฑino u ofensivo que infrinja la polรญtica de uso aceptable de Meta Llama.
  • Tareas matemรกticas complejas o de razonamiento lรณgico profundo de grado cientรญfico que requieran variantes mayores de la familia Llama (p. ej., Llama-3-70B).

Bias, Risks, and Limitations

  • Filtros de Alucinaciรณn: Al ser un modelo optimizado de 1.2B, puede alucinar datos concretos o fechas histรณricas especรญficas con mayor frecuencia que versiones superiores.
  • Limitaciรณn de Contexto: Aunque soporta una ventana amplia de atenciรณn, se recomienda mantener un historial reciclado (summarized history) para evitar sobrecargar los tokens de entrada en interfaces PWA de bajo consumo de baterรญa.

Recommendations

Se ha integrado un Prompt de Sistema estricto definido en Wiguel-AI para autogestionar el comportamiento del modelo, limitando respuestas exageradamente largas y forzรกndolo a responder de forma concisa y amigable, idรณneo para sintetizadores de voz (Text-to-Speech).

How to Get Started with the Model

Puedes arrancar y realizar inferencia mediante la SDK oficial de Hugging Face en JS/TS utilizando el token configurado en tu panel de control de Wiguel-AI:

import { InferenceClient } from "@huggingface/inference";

// Inicializa el cliente para usar el modelo online con tu clave personal
const client = new InferenceClient(process.env.HF_TOKEN);

const chatCompletion = await client.chatCompletion({
    model: "meta-llama/Llama-3.2-1B-Instruct",
    messages: [
        {
            role: "user",
            content: "Hola Llama 3.2, ยฟcuรกl es la capital de Espaรฑa y su poblaciรณn estimada?",
        },
    ],
    max_tokens: 150,
    temperature: 0.7
});

console.log(chatCompletion.choices[0].message.content);

Script de ejecuciรณn offline con conmutador automรกtico en TypeScript

El siguiente cรณdigo es el patrรณn utilizado por el nรบcleo del frontend de Wiguel-AI para conmutar a Ollama local si el navegador pierde la conexiรณn fรญsica (navigator.onLine === false) o si el servidor Hugging Face lanza un error de cuota o timeouts:

async function generateResponse(prompt: string, history: any[], systemMessage: string) {
  // 1. Verificaciรณn previa de conexiรณn actual del cliente
  const isOnline = typeof navigator !== "undefined" ? navigator.onLine : true;

  if (isOnline) {
    try {
      // Intenta llamar a Hugging Face Inference API
      const response = await fetch("https://api-inference.huggingface.co/models/meta-llama/Llama-3.2-1B-Instruct", {
        method: "POST",
        headers: { 
          "Authorization": `Bearer ${process.env.HF_TOKEN}`,
          "Content-Type": "application/json" 
        },
        body: JSON.stringify({
          inputs: `${systemMessage}\n\nUser: ${prompt}`,
          parameters: { max_new_tokens: 250, temperature: 0.7 }
        })
      });
      if (response.ok) return await response.json();
    } catch (err) {
      console.warn("Error en la conexiรณn Online. Conmutando a respaldo Local (Ollama)...", err);
    }
  }

  // 2. FALLBACK OFFLINE: Conexiรณn con Ollama local ejecutanado Llama-3.2-1b
  const ollamaUrl = "http://localhost:8765"; // Puerto configurado por puente Wiguel
  const localResponse = await fetch(`${ollamaUrl}/api/chat`, {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({
      model: "llama3.2:1b", // Modelo Llama 3.2 local cargado en Ollama
      messages: [
        { role: "system", content: systemMessage },
        ...history,
        { role: "user", content: prompt }
      ],
      stream: false
    })
  });
  return await localResponse.json();
}

Technical Specifications

Model Architecture and Objective

  • Decoder-Only Transformer: Optimizado con Grouped-Query Attention (GQA) para agilizar las lecturas y escrituras del KV-Cache.
  • Tamaรฑo de Vocabulario: 128,256 tokens para soportar compresiรณn semรกntica multilingรผe limpia y directa.

Compute Infrastructure

Hardware Recomendado para ejecuciรณn Offline

Gracias a su ligereza, puedes correr la versiรณn offline en prรกcticamente cualquier equipo domรฉstico a travรฉs de Ollama:

  • Mรญnimo: 4 GB de memoria RAM libre. Puede correr en microcomputadores (p. ej., Raspberry Pi 5) o mรณviles de gama de entrada.
  • Recomendado: GPU dedicada o procesador Apple Silicon de serie M1/M2/M3 para inferencia instantรกnea (>60 tokens por segundo).

Model Card Authors

  • Meta Llama Team (Creadores del modelo base)
  • Miguel Molina (Integraciรณn Full-Stack en el ecosistema Wiguel-AI PWA)
Downloads last month
5
Safetensors
Model size
1B params
Tensor type
BF16
ยท
Inference Providers NEW
This model isn't deployed by any Inference Provider. ๐Ÿ™‹ Ask for provider support

Paper for xMiguel11/Wiguel