| ---
|
| language:
|
| - es
|
| license: cc-by-nc-4.0
|
| library_name: transformers
|
| pipeline_tag: text-generation
|
| tags:
|
| - spanish
|
| - español
|
| - tiny
|
| - llama
|
| - gguf
|
| - from-scratch
|
| - distillation
|
| datasets:
|
| - robrenaud/multilingual_tinystories
|
| - FreedomIntelligence/alpaca-gpt4-spanish
|
| ---
|
|
|
| # Minerva v0.1 🇪🇸
|
|
|
| **Minerva** es un modelo de lenguaje en español **diminuto** (30 millones de parámetros), entrenado
|
| **desde cero** en un ordenador portátil. Es un modelo de juguete y de aprendizaje: habla español con
|
| soltura y cuenta cuentos sencillos, pero **sabe muy poco del mundo y se inventa las cosas**.
|
|
|
| El nombre viene de Minerva, diosa romana de la sabiduría, que según el mito nació de la cabeza de Júpiter.
|
| Este modelo también "nació de la cabeza" de modelos más grandes: aprendió de textos escritos por ellos
|
| (destilación).
|
|
|
| ## Qué sabe hacer (y qué no)
|
|
|
| | ✅ Sí | ❌ No |
|
| |---|---|
|
| | Escribir en español con buena gramática | Dar datos fiables (se los inventa con seguridad) |
|
| | Contar cuentos infantiles coherentes | Matemáticas, razonamiento, programación |
|
| | Charlar con frases sencillas | Recordar conversaciones largas (ve unas 350 palabras) |
|
| | Decir quién es y por qué se llama así | Cualquier uso serio: **no lo uses para decisiones reales** |
|
|
|
| ## Ejemplos reales
|
|
|
| Respuestas generadas automáticamente al exportar el modelo (temperatura 0.7, sin escoger las mejores):
|
|
|
| > **Tú:** ¿Quién eres?
|
| > **Minerva:** Soy Minerva, un modelo de lenguaje español. No soy una persona, soy un programa de ordenador.
|
|
|
| > **Tú:** ¿Por qué te llamas Minerva?
|
| > **Minerva:** Me llamo así por Minerva, la diosa romana de la sabiduría. Según el mito, nació de la cabeza de Júpiter. Yo también nací de la cabeza de modelos más grandes: ellos me enseñaron y yo aprendí de sus respuestas.
|
|
|
| > **Tú:** ¿Cuál es la capital de España?
|
| > **Minerva:** La capital de España es Aragón.
|
|
|
| > **Tú:** ¿Qué es la paella?
|
| > **Minerva:** La paella es una tienda minorista que consiste en marcas y compresas para vender productos crudos.
|
|
|
| > **Tú:** Dame un consejo para dormir mejor.
|
| > **Minerva:** No es bueno dormir mucho. Es importante estar preparado para dormir. Las personas no pueden sentir que algo no estaba bien, y es importante tomarse un descanso y tomar descansos.
|
|
|
| > **Cuento** (empieza con «Había una vez un dragón que»):
|
| > Había una vez un dragón que podría volar. El dragón estaba enojado porque no había nadie que pudiera ayudar.
|
|
|
| ## Cómo usarlo
|
|
|
| ### Con LM Studio u Ollama (sin programar)
|
|
|
| El repositorio incluye el archivo `Minerva-v0.1-F16.gguf`.
|
|
|
| - **LM Studio**: busca `AxoneSystem/Minerva-v0.1` y descárgalo.
|
| - **Ollama**: `ollama run hf.co/AxoneSystem/Minerva-v0.1`
|
|
|
| ### Con Python (`transformers`)
|
|
|
| ```python
|
| from transformers import AutoModelForCausalLM, AutoTokenizer
|
|
|
| tok = AutoTokenizer.from_pretrained("AxoneSystem/Minerva-v0.1")
|
| modelo = AutoModelForCausalLM.from_pretrained("AxoneSystem/Minerva-v0.1")
|
|
|
| mensajes = [{"role": "user", "content": "¿Quién eres?"}]
|
| ids = tok.apply_chat_template(mensajes, add_generation_prompt=True, return_tensors="pt")
|
| salida = modelo.generate(ids, max_new_tokens=150, do_sample=True, temperature=0.7, top_k=30)
|
| print(tok.decode(salida[0, ids.shape[1]:], skip_special_tokens=True))
|
| ```
|
|
|
| Para que cuente un cuento, dale el principio sin plantilla de chat: `"Había una vez un gato que"`.
|
|
|
| ### Formato de chat
|
|
|
| ```
|
| <|usuario|>¿Quién eres?<|asistente|>Soy Minerva, un modelo de lenguaje muy pequeño...<|fin|>
|
| ```
|
|
|
| ## Cómo se entrenó
|
|
|
| | | |
|
| |---|---|
|
| | Arquitectura | Transformer decodificador tipo Llama: RMSNorm, RoPE, SwiGLU, embeddings compartidos |
|
| | Tamaño | 30M parámetros · 8 capas · 512 dimensiones · 8 cabezas · contexto de 512 tokens |
|
| | Tokenizador | BPE byte-level propio, 8.192 piezas, entrenado solo con español |
|
| | Hardware | 1 portátil con NVIDIA RTX 5070 Laptop (8 GB) |
|
| | Tiempo | ~1 h de preentreno + ~1 h de destilación y ajuste |
|
|
|
| 1. **Preentreno** (~280M tokens vistos): ~1 millón de cuentos infantiles en español escritos por
|
| Gemini 1.5 Flash (`robrenaud/multilingual_tinystories`) + ~50.000 respuestas de GPT-4 en español
|
| (`FreedomIntelligence/alpaca-gpt4-spanish`). Objetivo: predecir la siguiente palabra.
|
| 2. **Destilación**: [Salamandra-2B-Instruct](https://huggingface.co/BSC-LT/salamandra-2b-instruct)
|
| (Barcelona Supercomputing Center) respondió miles de preguntas **de forma sencilla y corta**, para
|
| que un modelo tan pequeño pudiera imitarlo.
|
| 3. **Ajuste de chat**: aprende a responder solo con las partes del asistente (las preguntas no cuentan
|
| en el aprendizaje) + unas decenas de respuestas escritas a mano sobre su identidad.
|
|
|
| Pérdida de validación final en el ajuste de chat: 2.242.
|
| El código completo de entrenamiento está en la carpeta `entrenamiento/`.
|
|
|
| ## Licencia
|
|
|
| **CC BY-NC 4.0** (uso no comercial). Parte de los datos de ajuste son respuestas de GPT-4 que proceden de
|
| Alpaca-GPT4, publicado solo para investigación y uso no comercial; por prudencia el modelo hereda esa
|
| restricción. Los cuentos (Apache-2.0) y el maestro Salamandra (Apache-2.0) no tienen esa limitación.
|
|
|
