Ilides's picture
Upload folder using huggingface_hub
e72cbe1 verified
|
Raw History Blame Contribute Delete
1.33 kB
metadata
library_name: mlx
pipeline_tag: text-generation
license: apache-2.0
base_model: Ilides/cortex-0.3-0.02b
tags:
  - cortex
  - mlx
  - apple-silicon

cortex-0.3-0.02b 路 MLX (Apple Silicon)

Versi贸n MLX (Metal) de Ilides/cortex-0.3-0.02b, el GPT conversacional de 20.6 M par谩metros entrenado desde cero en NumPy puro. Ejecuta nativamente en Apple Silicon sin PyTorch.

Requisitos

pip install mlx safetensors transformers regex

Uso

# bater铆a de prompts de prueba (por defecto)
python generate_mlx.py

# una pregunta
python generate_mlx.py "驴Qu茅 eres?" --max-new 128

# chat interactivo (escribe "salir" para terminar)
python generate_mlx.py --interactive --temperature 0.8

Bundle autocontenido: weights.safetensors (45 tensores) + model.py (arquitectura) + generate_mlx.py (CLI) + tokenizer. No depende de mlx-lm ni de c贸digo externo del Hub.

Verificaci贸n

Paridad de logits MLX vs NumPy (implementaci贸n de referencia): max|螖| = 3.65e-05 (< 1e-4). Tokens EOS efectivos: {0, 6}.

Arquitectura

cortex: embeddings de posici贸n aprendidos (sin RoPE), RMSNorm + atenci贸n multi-cabeza + SwiGLU, embeddings atados (tie_word_embeddings). Contexto 512, 6 capas, d_model 192, vocab 16384 (BPE byte-level).