Kaze-Phi4-MoE-MIT
Kaze-Phi4-MoE-MIT aplica Sparse Upcycling sin pérdida sobre microsoft/Phi-4-mini-instruct (3.8B, licencia MIT), añadiendo 6 expertos enrutados (top_k = 2) por capa con arquitectura de memoria Hot / Warm / Cold optimizada para streaming UFS en el ecosistema Proyecto Kofu (Kofu_Mobile).
Arquitectura Hot / Warm / Cold
- HOT (RAM residente, congelado):
microsoft/Phi-4-mini-instruct(3.837Bparams,~2.30 GBenQ4_K_M) + Routers lineales por capa. - WARM (LRU RAM) / COLD (UFS streaming):
6expertos enrutados por capa (bottleneck = 64,75.5Mparams totales =152.2 MBenBF16/~45.3 MBenQ4_K_M). - Balanceo Aux-Loss-Free: Distribución verificada
[15.8%, 17.7%, 17.8%, 16.7%, 15.4%, 16.6%](desviación ±1.3%).
Resultados de Prueba de Presión (10 tests automatizados no vistos)
- Código Python ejecutable (
exec+assert): 4 / 4 (100%) - Aritmética y Finanzas (
Kofu_Mobile): 4 / 5 (80%) (0 alucinaciones) - Contexto largo (Aguja en Pajar a
1,597tokens): 1 / 1 (100%) (pico VRAM+364 MBKV-cache) - Score total: 9 / 10 (90%) con 0% olvido catastrófico respecto al modelo base.
Archivos
kaze_phi4_moe_routed_experts.safetensors(152.2 MB,BF16) — pesos de routers + 6 expertos enrutados × 32 capas.hot_warm_cold_manifest.json— metadatos de partición Hot / Warm / Cold para UFS.
Model tree for shebxyd/Kaze-Phi4-MoE-MIT
Base model
microsoft/Phi-4-mini-instruct