teszenofficial commited on
Commit
23d0a7d
·
verified ·
1 Parent(s): e76718a

Delete README.md

Browse files
Files changed (1) hide show
  1. README.md +0 -25
README.md DELETED
@@ -1,25 +0,0 @@
1
- ---
2
- license: mit
3
- language: es
4
- tags:
5
- - milo-x1
6
- - from-scratch-transformer
7
- - spanish
8
- ---
9
-
10
- # Milo X1 (fine-tuned)
11
-
12
- Modelo de lenguaje Transformer autoregresivo en español, entrenado completamente desde cero
13
- (sin pesos preentrenados, arquitectura propia con RoPE + QK-Norm + atención causal + SwiGLU + RMSNorm).
14
-
15
- - Parámetros: ~10.39M
16
- - d_model: 256 | capas: 6 | heads: 8
17
- - context_length: 512
18
- - Vocabulario: 8000 tokens en el tokenizer (8000 filas de embedding)
19
- - Tokenizer: BPE byte-level (librería `tokenizers`), normalización NFC+Replace;
20
- codifica y decodifica sin pérdida cualquier texto Unicode (acentos, símbolos, emojis).
21
-
22
- ## Archivos
23
- - `model.safetensors`: pesos del modelo
24
- - `config.json`: hiperparámetros de arquitectura (para reconstruir `MiloX1`)
25
- - `tokenizer.json`: tokenizer (formato nativo de la librería `tokenizers`; incluye normalizador y pre-tokenizador)