# CORTEX — datasets

Datasets de code pour l'entraînement de CORTEX, avec traçabilité complète des sources et
des licences.

| Fichier | Rôle |
|---|---|
| `registry.json` | déclaration des sources, licences et jeux refusés |
| `build.py` | récupération reproductible des échantillons |
| `<id>.jsonl` | les enregistrements |
| `<id>.meta.json` | provenance : source, licence, compteurs, SHA-256 |

## Jeux retenus

| id | Source | Licence | Usage |
|---|---|---|---|
| `cortex-code-sft` | `sahil2801/CodeAlpaca-20k` | CC BY 4.0 | entraînement |
| `cortex-code-tests` | `google-research-datasets/mbpp` | CC BY 4.0 | entraînement / évaluation |
| `cortex-code-eval` | `openai/openai_humaneval` | MIT | **évaluation seule** |

Les licences ci-dessus ont été lues depuis l'API du Hub, pas reprises de mémoire.

### Attributions

- **CodeAlpaca-20k** — CC BY 4.0. Citer le dépôt `sahil2801/CodeAlpaca-20k`.
- **MBPP** — Google Research, CC BY 4.0. Citer `google-research-datasets/mbpp`.
- **HumanEval** — OpenAI, licence MIT. Citer `openai/openai_humaneval`.

## Jeux refusés

Ces sources existent et sont populaires, mais ne peuvent pas entrer dans CORTEX :

| Source | Licence déclarée | Motif du refus |
|---|---|---|
| `bigcode/the-stack-dedup` | `other` | accès sous conditions, termes non vérifiables |
| `bigcode/starcoderdata` | `other` | accès sous conditions, licences par fichier non déclarées |
| `codeparrot/codeparrot-clean` | aucune | aucun octroi de licence |
| `codeparrot/github-code` | `other` | termes non vérifiables |
| `iamtarun/python_code_instructions_18k_alpaca` | aucune | aucun octroi de licence |

`the-stack-dedup` et `starcoderdata` sont les sources les plus utilisées pour entraîner des
modèles de code. Elles restent hors de ce pipeline tant que leurs termes ne peuvent pas
être vérifiés depuis les métadonnées du Hub.

## Traçabilité

Chaque `<id>.meta.json` enregistre :

```json
{
  "source": "sahil2801/CodeAlpaca-20k",
  "license": "cc-by-4.0",
  "license_url": "https://huggingface.co/datasets/sahil2801/CodeAlpaca-20k",
  "attribution": "...",
  "rows_fetched": 200,
  "records_written": 200,
  "jsonl_sha256": "...",
  "fetched_via": "https://datasets-server.huggingface.co/rows"
}
```

Un test vérifie que le SHA-256 de chaque `.jsonl` correspond à celui de son `.meta.json`.

## Utilisation

```bash
python datasets/build.py --dataset cortex-code-sft --limit 200
python datasets/build.py --all --limit 200
```

Les échantillons sont volontairement petits (quelques centaines de lignes) pour que le
pipeline soit exécutable et vérifiable sur une machine de développement. Ce ne sont pas
des corpus d'entraînement à l'échelle : voir `docs/pipeline-cortex.fr.md`.