CHISPA-20M-python: modelo base de RFC-CHISPA-3 (formato LLaMA)

README.md

@@ -0,0 +1,59 @@
+---
+license: mit
+language: [code]
+library_name: transformers
+pipeline_tag: text-generation
+tags: [code, python, code-completion, fill-in-the-middle, tiny, llama]
+datasets: [codeparrot/codeparrot-clean]
+---
+
+# CHISPA-20M-python
+
+Modelo diminuto (20.1M parámetros) de completado de línea de Python, entrenado desde cero como
+laboratorio de la serie de RFC CHISPA. **Es un artefacto de investigación, no un asistente de código**: completa
+el resto de una línea; no escribe funciones a partir de un docstring.
+
+*A tiny (~20M) Python line-completion model trained from scratch with fill-in-the-middle. Research
+artifact, not a coding assistant. Code, preregistration and experiments: https://github.com/esraderey/chispa*
+
+## Arquitectura
+
+LLaMA: d=320, 12 capas, 5 cabezas de 64, SwiGLU 864, RMSNorm, RoPE, embeddings atados, contexto 1,024.
+Tokenizador BPE a nivel de byte de 16,384 piezas con pretokenización alineada a lexemas de Python (identificador,
+número, puntuación, salto de línea con sangría). Convertido desde el formato del laboratorio; diferencia máxima de
+logits en la conversión: 3.6e-05.
+
+## Datos y entrenamiento
+
+- `codeparrot/codeparrot-clean`, solo archivos con licencia permisiva (MIT, Apache-2.0, BSD-2/3, ISC, Unlicense),
+  3228316 archivos de 280112 repositorios de entrenamiento. El 3 % de los
+  repositorios (por hash del nombre) se reservó para evaluación y no se vio al entrenar.
+- 521M tokens, el 50 % de los documentos en formato FIM (PSM); la mitad de ellos con el hueco al
+  final de una línea.
+- AdamW, pico 3e-3, calendario WSD, lote de 131,072 tokens, bf16, una H100. Pérdida final de entrenamiento: 1.56971.
+
+## Uso
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+tk = AutoTokenizer.from_pretrained("esraderey/chispa-20m-python")
+m = AutoModelForCausalLM.from_pretrained("esraderey/chispa-20m-python")
+prompt = "<fim_prefix>def area(r):\n    return <fim_suffix>\n<fim_middle>"
+ids = tk(prompt, return_tensors="pt").input_ids
+print(tk.decode(m.generate(ids, max_new_tokens=16, do_sample=False)[0][ids.shape[1]:]))
+```
+
+## Evaluación (repositorios retenidos, 20,000 cursores dentro de cuerpos de función)
+
+| Métrica | Valor |
+|---|---|
+| Coincidencia exacta del primer identificador de la línea | 17.1% |
+| Coincidencia exacta de la línea completa | 1.2% |
+| Completados que introducen un nombre indefinido | 11.0% (IC90 10.3%–11.6%) |
+
+Detalle, intervalos y experimentos E1–E5: https://github.com/esraderey/chispa
+
+## Limitaciones
+
+Modelo de 20M: inventa nombres, no conoce APIs poco comunes y su ventana es de 1,024 tokens. Solo Python. Las métricas
+son offline y no se validaron con usuarios. El corpus procede de GitHub y puede contener código con errores o inseguro.

chispa_export.json

@@ -0,0 +1,5 @@
+{
+ "origen": "runs_srv/B20/final.pt",
+ "paso": 3814,
+ "dif_max_logits": 3.612041473388672e-05
+}

config.json

@@ -0,0 +1,32 @@
+{
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 1,
+  "dtype": "float32",
+  "eos_token_id": 2,
+  "head_dim": 64,
+  "hidden_act": "silu",
+  "hidden_size": 320,
+  "initializer_range": 0.02,
+  "intermediate_size": 864,
+  "max_position_embeddings": 1024,
+  "mlp_bias": false,
+  "model_type": "llama",
+  "num_attention_heads": 5,
+  "num_hidden_layers": 12,
+  "num_key_value_heads": 5,
+  "pad_token_id": null,
+  "pretraining_tp": 1,
+  "rms_norm_eps": 1e-06,
+  "rope_parameters": {
+    "rope_theta": 10000.0,
+    "rope_type": "default"
+  },
+  "tie_word_embeddings": true,
+  "transformers_version": "5.2.0",
+  "use_cache": true,
+  "vocab_size": 16384
+}

generation_config.json

@@ -0,0 +1,9 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 1,
+  "eos_token_id": 2,
+  "output_attentions": false,
+  "output_hidden_states": false,
+  "transformers_version": "5.2.0",
+  "use_cache": true
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dbd944c1f6defb09fbdc75c6b282efd5d888ffcb797e04c99c9e04fa1398fbb8
+size 80489416

tokenizer_config.json

@@ -0,0 +1,13 @@
+{
+  "backend": "tokenizers",
+  "bos_token": "<|endoftext|>",
+  "eos_token": "<|endoftext|>",
+  "extra_special_tokens": [
+    "<fim_prefix>",
+    "<fim_suffix>",
+    "<fim_middle>"
+  ],
+  "model_max_length": 1024,
+  "pad_token": "<pad>",
+  "tokenizer_class": "TokenizersBackend"
+}