Kaze-4.7B-A530M-MIT

Kaze-4.7B-A530M-MIT es un modelo fundacional de lenguaje Sparse Mixture-of-Experts (MoE) entrenado desde cero por Kineyo (@kineyo.io / Dev_Kofu) bajo licencia MIT, optimizado para inferencia local y privada en dispositivos edge (CPU, Linux y Android).

Arquitectura

  • Parámetros totales: ~4.72B | Activos por token: ~528M
  • Capas: 23 | d_model: 1024 | GQA: 16Q / 4KV (head_dim = 64)
  • MoE: 1 Shared Expert + 31 Routed Experts (top_k = 2, d_ff = 2048 SwiGLU)
  • Contexto: 4096 (RoPE, theta = 100000.0) | Vocabulario: 32,768 (Byte-Level BPE propio)
  • Formato HF: Qwen2MoeForCausalLM (conversión lossless, expert_bias = 0, sin trust_remote_code)

Archivos Incluidos

  • model-00001-of-00003.safetensors .. model-00003-of-00003.safetensors + model.safetensors.index.json (BF16 crudo dividido)
  • kaze-4.7b-a530m-mit-q4_k_m.gguf (cuantización Q4_K_M lista para llama.cpp y Kofu_Mobile)

Uso Rápido (transformers)

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "shebxyd/Kaze-4.7B-A530M-MIT"
tok = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForCausalLM.from_pretrained(repo_id, dtype=torch.bfloat16, device_map="auto")
prompt = "<|user|>\nHola, ¿quién eres y para qué sirves?\n<|assistant|>\n"
inputs = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=128, temperature=0.65, top_p=0.9, repetition_penalty=1.18, do_sample=True)
print(tok.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))

Limitaciones

Modelo experimental entrenado desde cero con corpus bajo licencia MIT. Orientado a investigación de arquitecturas Sparse MoE en edge y tareas acotadas en español/código dentro del ecosistema Proyecto Kofu.

Downloads last month
69
Safetensors
Model size
5B params
Tensor type
BF16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support