blackdaqlabs/MiloX1

MiloX

MiloX es un modelo de lenguaje tipo GPT (Transformer decoder, arquitectura Llama: RMSNorm + RoPE + SwiGLU + GQA) de 30M parámetros, preentrenado desde cero (sin pesos de ningún modelo previo) y afinado para conversar. Su asistente se llama Milo.

• Contexto: 1024 tokens · Vocabulario: 12288 (BPE byte-level propio) · Idiomas: español e inglés
• Formato de chat: <|system|>, <|user|>, <|assistant|> terminados en <|end|> (ya incluido como chat_template)

Uso

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

repo = "TU_USUARIO/MiloX"
device = "cuda" if torch.cuda.is_available() else "cpu"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo).to(device).eval()

msgs = [{"role": "user", "content": "Hola, ¿quién eres?"}]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
inputs = tok(text, return_tensors="pt", add_special_tokens=False).to(device)
out = model.generate(**inputs, max_new_tokens=200, do_sample=True, temperature=0.7,
                     top_p=0.9, repetition_penalty=1.1)
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

Limitaciones

Es un modelo pequeño: puede equivocarse, inventar datos o repetirse. No lo uses para decisiones importantes. Revisa las licencias de los datasets usados en el preentrenamiento y el fine-tuning antes de elegir la licencia final del repo.