# CORTEX — tokenizer

Le tokenizer CORTEX est **réutilisé tel quel** depuis le dépôt distribué
(`Frankenstein-Labs/Cortex-ai`), sous licence MIT. Il n'est ni reconstruit, ni modifié.

| Fichier | Rôle |
|---|---|
| `../tokenizer.json` | tokenizer distribué, à la racine du dépôt (BPE, 129 280 identifiants) |
| `cortex_tokenizer.py` | chargement et validation |

## Chiffres mesurés

| Propriété | Valeur |
|---|---|
| Classe | `PreTrainedTokenizerFast` |
| Modèle | BPE |
| Vocabulaire de base | 128 000 |
| Fusions | 127 741 |
| Tokens ajoutés | 1 283 |
| Identifiants uniques | **129 280** |
| Identifiants en doublon | 3 (ids 0, 1, 2) |

## Le piège du décompte

`128 000 + 1 283 = 129 283`, mais `config.json` déclare `vocab_size: 129280` et les
embeddings ont 129 280 lignes.

Ce n'est pas une incohérence : les identifiants 0, 1 et 2 (`bos`, `eos`, `pad`)
apparaissent **à la fois** comme tokens spéciaux ajoutés et comme entrées du vocabulaire
BPE. Le nombre d'identifiants **uniques** est bien 129 280.

C'est pourquoi `assert_vocab_matches_config()` compare les identifiants uniques et jamais
les compteurs bruts. Toute réutilisation de ce tokenizer doit faire de même.

## Exemple

```python
from tokenizer.cortex_tokenizer import load_tokenizer, assert_vocab_matches_config

tokenizer = load_tokenizer()
assert_vocab_matches_config(tokenizer, 129280)
print(tokenizer.decode(tokenizer.encode("def add(a, b):\n    return a + b\n").ids))
```

## Si le fichier est absent

`tokenizer.json` est versionné **à la racine** du dépôt, et le pipeline le charge depuis là :
une seule copie existe, donc aucune divergence n'est possible entre le tokenizer du pipeline et
celui du checkpoint distribué. S'il manque, le récupérer depuis la source :

```bash
hf download Frankenstein-Labs/Cortex-ai tokenizer.json --local-dir .
```