---
license: mit
language: [code]
library_name: transformers
pipeline_tag: text-generation
tags: [code, python, code-completion, fill-in-the-middle, tiny, llama]
datasets: [codeparrot/codeparrot-clean]
---

# CHISPA-20M-python

Modelo diminuto (20.1M parámetros) de completado de línea de Python, entrenado desde cero como
laboratorio de la serie de RFC CHISPA. **Es un artefacto de investigación, no un asistente de código**: completa
el resto de una línea; no escribe funciones a partir de un docstring.

*A tiny (~20M) Python line-completion model trained from scratch with fill-in-the-middle. Research
artifact, not a coding assistant. Code, preregistration and experiments: https://github.com/esraderey/chispa*

## Arquitectura

LLaMA: d=320, 12 capas, 5 cabezas de 64, SwiGLU 864, RMSNorm, RoPE, embeddings atados, contexto 1,024.
Tokenizador BPE a nivel de byte de 16,384 piezas con pretokenización alineada a lexemas de Python (identificador,
número, puntuación, salto de línea con sangría). Convertido desde el formato del laboratorio; diferencia máxima de
logits en la conversión: 3.6e-05.

## Datos y entrenamiento

- `codeparrot/codeparrot-clean`, solo archivos con licencia permisiva (MIT, Apache-2.0, BSD-2/3, ISC, Unlicense),
  3228316 archivos de 280112 repositorios de entrenamiento. El 3 % de los
  repositorios (por hash del nombre) se reservó para evaluación y no se vio al entrenar.
- 521M tokens, el 50 % de los documentos en formato FIM (PSM); la mitad de ellos con el hueco al
  final de una línea.
- AdamW, pico 3e-3, calendario WSD, lote de 131,072 tokens, bf16, una H100. Pérdida final de entrenamiento: 1.56971.

## Uso

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
tk = AutoTokenizer.from_pretrained("esraderey/chispa-20m-python")
m = AutoModelForCausalLM.from_pretrained("esraderey/chispa-20m-python")
eos, pad = tk.convert_tokens_to_ids("<|endoftext|>"), tk.convert_tokens_to_ids("<pad>")
# FIM en formato PSM: el modelo rellena el hueco entre prefijo y sufijo
prompt = "<fim_prefix>def read_lines(path):\n    with open(path) as f:\n        <fim_suffix>\n<fim_middle>"
ids = tk(prompt, return_tensors="pt").input_ids
out = m.generate(ids, max_new_tokens=16, do_sample=False, eos_token_id=eos, pad_token_id=pad)
linea = tk.decode(out[0][ids.shape[1]:], skip_special_tokens=True).split("\n")[0]
print(linea.lstrip())   # -> return f.readlines()
```

Si el prefijo termina justo después de la sangría, el modelo tiende a empezar con espacios de más: recorta el inicio
de la línea (`lstrip`) o prohíbe en el primer paso las piezas que empiezan por espacio, que es lo que se hizo en los
experimentos.

## Evaluación (repositorios retenidos, 20,000 cursores dentro de cuerpos de función)

| Métrica | Valor |
|---|---|
| Coincidencia exacta del primer identificador de la línea | 17.1% |
| Coincidencia exacta de la línea completa | 1.2% |
| Completados que introducen un nombre indefinido | 11.0% (IC90 10.3%–11.6%) |

Detalle, intervalos y experimentos E1–E5: https://github.com/esraderey/chispa

## Limitaciones

Modelo de 20M: inventa nombres, no conoce APIs poco comunes y su ventana es de 1,024 tokens. Solo Python. Las métricas
son offline y no se validaron con usuarios. El corpus procede de GitHub y puede contener código con errores o inseguro.