Model Card for meta-llama/Llama-3.2-1B-Instruct (Wiguel-AI Integrated)
Este Model Card detalla la integraciรณn, caracterรญsticas y modo de empleo de Llama-3.2-1B-Instruct como motor de lenguaje principal online en la aplicaciรณn Wiguel-AI, apoyรกndose de un sistema inteligente de conmutaciรณn offline.
Model Details
Model Description
Llama-3.2-1B-Instruct es parte de la colecciรณn de modelos ligeros de Meta orientados a tareas conversacionales de baja latencia y alta eficiencia. Con solo 1.23 mil millones de parรกmetros, estรก altamente optimizado para el procesamiento local y ejecuciones en la nube con coste nulo o mรญnimo de latencia mediante las APIs de Inferencia de Hugging Face.
En esta implementaciรณn dentro de Wiguel-AI, funciona mediante un sistema hรญbrido inteligente:
- Modo Online: Utiliza la API de inferencia Serverless de Hugging Face (
meta-llama/Llama-3.2-1B-Instruct) consumiendo tu clave personalHF_TOKEN. - Modo Offline: Al detectarse la pรฉrdida de conexiรณn a internet o fallos transitorios en el servicio cloud, el sistema conmuta automรกticamente (failover) a una instancia local de Ollama con el modelo personalizado
wiguel-aio localllama3.2:1b, garantizando disponibilidad absoluta e ininterrumpida de tu asistente de IA.
- Developer: Meta Llama Team (Integraciรณn hรญbrida por Miguel Molina)
- Model type: Transformer decoder-only language model
- Language(s) (NLP): Espaรฑol, Inglรฉs (y soporta traducciรณn/instrucciones multilingรผes)
- License: Llama 3.2 Community License Agreement (All rights reserved for individual customizations)
- Mecanismo de Respaldo: Conexiรณn local a Ollama (Port
8765de Wiguel Bridge)
Model Sources
- Repository: Hugging Face meta-llama/Llama-3.2-1B-Instruct
- Paper: The Llama 3 Herd of Models
- Wiguel-AI Core: Integrado de forma nativa en el controlador
/config/llmService.ts
Uses
Direct Use
Este modelo se utiliza como el cerebro conversacional de Wiguel-AI para:
- Responder consultas directas con un tiempo de respuesta inferior a 150ms gracias a su liviano tamaรฑo.
- Servir de asistente de voz en el mรณvil o escritorio a travรฉs de la interfaz web Progressive Web App (PWA) de pantalla completa optimizada para activarse mediante atajos de hardware.
- Asistir en la toma de notas rรกpidas, ejecuciรณn de comandos definidos de voz y control local de recursos conectados al puente Python local.
Downstream Use
Wiguel-AI encapsula este modelo en flujos de trabajo asรญncronos y streams React en tiempo real (WritableStream), permitiendo la generaciรณn de textos palabra a palabra directamente en la UI del chat de voz/texto.
Out-of-Scope Use
- Generaciรณn de contenido daรฑino u ofensivo que infrinja la polรญtica de uso aceptable de Meta Llama.
- Tareas matemรกticas complejas o de razonamiento lรณgico profundo de grado cientรญfico que requieran variantes mayores de la familia Llama (p. ej., Llama-3-70B).
Bias, Risks, and Limitations
- Filtros de Alucinaciรณn: Al ser un modelo optimizado de 1.2B, puede alucinar datos concretos o fechas histรณricas especรญficas con mayor frecuencia que versiones superiores.
- Limitaciรณn de Contexto: Aunque soporta una ventana amplia de atenciรณn, se recomienda mantener un historial reciclado (summarized history) para evitar sobrecargar los tokens de entrada en interfaces PWA de bajo consumo de baterรญa.
Recommendations
Se ha integrado un Prompt de Sistema estricto definido en Wiguel-AI para autogestionar el comportamiento del modelo, limitando respuestas exageradamente largas y forzรกndolo a responder de forma concisa y amigable, idรณneo para sintetizadores de voz (Text-to-Speech).
How to Get Started with the Model
Puedes arrancar y realizar inferencia mediante la SDK oficial de Hugging Face en JS/TS utilizando el token configurado en tu panel de control de Wiguel-AI:
import { InferenceClient } from "@huggingface/inference";
// Inicializa el cliente para usar el modelo online con tu clave personal
const client = new InferenceClient(process.env.HF_TOKEN);
const chatCompletion = await client.chatCompletion({
model: "meta-llama/Llama-3.2-1B-Instruct",
messages: [
{
role: "user",
content: "Hola Llama 3.2, ยฟcuรกl es la capital de Espaรฑa y su poblaciรณn estimada?",
},
],
max_tokens: 150,
temperature: 0.7
});
console.log(chatCompletion.choices[0].message.content);
Script de ejecuciรณn offline con conmutador automรกtico en TypeScript
El siguiente cรณdigo es el patrรณn utilizado por el nรบcleo del frontend de Wiguel-AI para conmutar a Ollama local si el navegador pierde la conexiรณn fรญsica (navigator.onLine === false) o si el servidor Hugging Face lanza un error de cuota o timeouts:
async function generateResponse(prompt: string, history: any[], systemMessage: string) {
// 1. Verificaciรณn previa de conexiรณn actual del cliente
const isOnline = typeof navigator !== "undefined" ? navigator.onLine : true;
if (isOnline) {
try {
// Intenta llamar a Hugging Face Inference API
const response = await fetch("https://api-inference.huggingface.co/models/meta-llama/Llama-3.2-1B-Instruct", {
method: "POST",
headers: {
"Authorization": `Bearer ${process.env.HF_TOKEN}`,
"Content-Type": "application/json"
},
body: JSON.stringify({
inputs: `${systemMessage}\n\nUser: ${prompt}`,
parameters: { max_new_tokens: 250, temperature: 0.7 }
})
});
if (response.ok) return await response.json();
} catch (err) {
console.warn("Error en la conexiรณn Online. Conmutando a respaldo Local (Ollama)...", err);
}
}
// 2. FALLBACK OFFLINE: Conexiรณn con Ollama local ejecutanado Llama-3.2-1b
const ollamaUrl = "http://localhost:8765"; // Puerto configurado por puente Wiguel
const localResponse = await fetch(`${ollamaUrl}/api/chat`, {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({
model: "llama3.2:1b", // Modelo Llama 3.2 local cargado en Ollama
messages: [
{ role: "system", content: systemMessage },
...history,
{ role: "user", content: prompt }
],
stream: false
})
});
return await localResponse.json();
}
Technical Specifications
Model Architecture and Objective
- Decoder-Only Transformer: Optimizado con Grouped-Query Attention (GQA) para agilizar las lecturas y escrituras del KV-Cache.
- Tamaรฑo de Vocabulario: 128,256 tokens para soportar compresiรณn semรกntica multilingรผe limpia y directa.
Compute Infrastructure
Hardware Recomendado para ejecuciรณn Offline
Gracias a su ligereza, puedes correr la versiรณn offline en prรกcticamente cualquier equipo domรฉstico a travรฉs de Ollama:
- Mรญnimo: 4 GB de memoria RAM libre. Puede correr en microcomputadores (p. ej., Raspberry Pi 5) o mรณviles de gama de entrada.
- Recomendado: GPU dedicada o procesador Apple Silicon de serie M1/M2/M3 para inferencia instantรกnea (>60 tokens por segundo).
Model Card Authors
- Meta Llama Team (Creadores del modelo base)
- Miguel Molina (Integraciรณn Full-Stack en el ecosistema Wiguel-AI PWA)
- Downloads last month
- 5