Ilides's picture
Upload folder using huggingface_hub
e72cbe1 verified
|
Raw History Blame Contribute Delete
1.33 kB
---
library_name: mlx
pipeline_tag: text-generation
license: apache-2.0
base_model: Ilides/cortex-0.3-0.02b
tags:
- cortex
- mlx
- apple-silicon
---
# cortex-0.3-0.02b 路 MLX (Apple Silicon)
Versi贸n **MLX** (Metal) de [Ilides/cortex-0.3-0.02b](https://huggingface.co/Ilides/cortex-0.3-0.02b), el GPT conversacional de 20.6 M par谩metros entrenado desde cero en NumPy puro. Ejecuta nativamente en Apple Silicon sin PyTorch.
## Requisitos
```bash
pip install mlx safetensors transformers regex
```
## Uso
```bash
# bater铆a de prompts de prueba (por defecto)
python generate_mlx.py
# una pregunta
python generate_mlx.py "驴Qu茅 eres?" --max-new 128
# chat interactivo (escribe "salir" para terminar)
python generate_mlx.py --interactive --temperature 0.8
```
Bundle autocontenido: `weights.safetensors` (45 tensores) + `model.py` (arquitectura) + `generate_mlx.py` (CLI) + tokenizer. No depende de `mlx-lm` ni de c贸digo externo del Hub.
## Verificaci贸n
Paridad de logits MLX vs NumPy (implementaci贸n de referencia): **max|螖| = 3.65e-05** (< 1e-4). Tokens EOS efectivos: `{0, 6}`.
## Arquitectura
`cortex`: embeddings de posici贸n aprendidos (sin RoPE), RMSNorm + atenci贸n multi-cabeza + SwiGLU, embeddings atados (`tie_word_embeddings`). Contexto 512, 6 capas, d_model 192, vocab 16384 (BPE byte-level).