File size: 3,405 Bytes
d600aa0 0dd42d1 d600aa0 0dd42d1 d600aa0 0dd42d1 d600aa0 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 | ---
license: mit
language: [code]
library_name: transformers
pipeline_tag: text-generation
tags: [code, python, code-completion, fill-in-the-middle, tiny, llama]
datasets: [codeparrot/codeparrot-clean]
---
# CHISPA-20M-python
Modelo diminuto (20.1M parámetros) de completado de línea de Python, entrenado desde cero como
laboratorio de la serie de RFC CHISPA. **Es un artefacto de investigación, no un asistente de código**: completa
el resto de una línea; no escribe funciones a partir de un docstring.
*A tiny (~20M) Python line-completion model trained from scratch with fill-in-the-middle. Research
artifact, not a coding assistant. Code, preregistration and experiments: https://github.com/esraderey/chispa*
## Arquitectura
LLaMA: d=320, 12 capas, 5 cabezas de 64, SwiGLU 864, RMSNorm, RoPE, embeddings atados, contexto 1,024.
Tokenizador BPE a nivel de byte de 16,384 piezas con pretokenización alineada a lexemas de Python (identificador,
número, puntuación, salto de línea con sangría). Convertido desde el formato del laboratorio; diferencia máxima de
logits en la conversión: 3.6e-05.
## Datos y entrenamiento
- `codeparrot/codeparrot-clean`, solo archivos con licencia permisiva (MIT, Apache-2.0, BSD-2/3, ISC, Unlicense),
3228316 archivos de 280112 repositorios de entrenamiento. El 3 % de los
repositorios (por hash del nombre) se reservó para evaluación y no se vio al entrenar.
- 521M tokens, el 50 % de los documentos en formato FIM (PSM); la mitad de ellos con el hueco al
final de una línea.
- AdamW, pico 3e-3, calendario WSD, lote de 131,072 tokens, bf16, una H100. Pérdida final de entrenamiento: 1.56971.
## Uso
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
tk = AutoTokenizer.from_pretrained("esraderey/chispa-20m-python")
m = AutoModelForCausalLM.from_pretrained("esraderey/chispa-20m-python")
eos, pad = tk.convert_tokens_to_ids("<|endoftext|>"), tk.convert_tokens_to_ids("<pad>")
# FIM en formato PSM: el modelo rellena el hueco entre prefijo y sufijo
prompt = "<fim_prefix>def read_lines(path):\n with open(path) as f:\n <fim_suffix>\n<fim_middle>"
ids = tk(prompt, return_tensors="pt").input_ids
out = m.generate(ids, max_new_tokens=16, do_sample=False, eos_token_id=eos, pad_token_id=pad)
linea = tk.decode(out[0][ids.shape[1]:], skip_special_tokens=True).split("\n")[0]
print(linea.lstrip()) # -> return f.readlines()
```
Si el prefijo termina justo después de la sangría, el modelo tiende a empezar con espacios de más: recorta el inicio
de la línea (`lstrip`) o prohíbe en el primer paso las piezas que empiezan por espacio, que es lo que se hizo en los
experimentos.
## Evaluación (repositorios retenidos, 20,000 cursores dentro de cuerpos de función)
| Métrica | Valor |
|---|---|
| Coincidencia exacta del primer identificador de la línea | 17.1% |
| Coincidencia exacta de la línea completa | 1.2% |
| Completados que introducen un nombre indefinido | 11.0% (IC90 10.3%–11.6%) |
Detalle, intervalos y experimentos E1–E5: https://github.com/esraderey/chispa
## Limitaciones
Modelo de 20M: inventa nombres, no conoce APIs poco comunes y su ventana es de 1,024 tokens. Solo Python. Las métricas
son offline y no se validaron con usuarios. El corpus procede de GitHub y puede contener código con errores o inseguro.
|