Kaze-Phi4-MoE-MIT

Kaze-Phi4-MoE-MIT aplica Sparse Upcycling sin pérdida sobre microsoft/Phi-4-mini-instruct (3.8B, licencia MIT), añadiendo 6 expertos enrutados (top_k = 2) por capa con arquitectura de memoria Hot / Warm / Cold optimizada para streaming UFS en el ecosistema Proyecto Kofu (Kofu_Mobile).

Arquitectura Hot / Warm / Cold

  • HOT (RAM residente, congelado): microsoft/Phi-4-mini-instruct (3.837B params, ~2.30 GB en Q4_K_M) + Routers lineales por capa.
  • WARM (LRU RAM) / COLD (UFS streaming): 6 expertos enrutados por capa (bottleneck = 64, 75.5M params totales = 152.2 MB en BF16 / ~45.3 MB en Q4_K_M).
  • Balanceo Aux-Loss-Free: Distribución verificada [15.8%, 17.7%, 17.8%, 16.7%, 15.4%, 16.6%] (desviación ±1.3%).

Resultados de Prueba de Presión (10 tests automatizados no vistos)

  • Código Python ejecutable (exec + assert): 4 / 4 (100%)
  • Aritmética y Finanzas (Kofu_Mobile): 4 / 5 (80%) (0 alucinaciones)
  • Contexto largo (Aguja en Pajar a 1,597 tokens): 1 / 1 (100%) (pico VRAM +364 MB KV-cache)
  • Score total: 9 / 10 (90%) con 0% olvido catastrófico respecto al modelo base.

Archivos

  • kaze_phi4_moe_routed_experts.safetensors (152.2 MB, BF16) — pesos de routers + 6 expertos enrutados × 32 capas.
  • hot_warm_cold_manifest.json — metadatos de partición Hot / Warm / Cold para UFS.
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for shebxyd/Kaze-Phi4-MoE-MIT

Finetuned
(148)
this model