| # État d'avancement des phases |
|
|
| > Règle 1 : **une phase à la fois**. On ne passe à la phase suivante qu'après |
| > tests verts + commit/push Hub + validation explicite (« phase X validée »). |
|
|
| Légende : ⬜ à faire · 🚧 en cours · ✅ validée · ⚠️ partielle / bloquée |
|
|
| | # | Phase | Statut | Livrable attendu | Validation | |
| |---|-------|--------|------------------|------------| |
| | 0 | Fondations | ✅ validée | structure + config + docs + tests rouges | ✅ | |
| | 1 | Tokenizer BPE from scratch | ✅ livrée | `tokenizer/` + tests verts | ✅ | |
| | 2 | Transformer texte from scratch | ✅ livrée | modèle qui overfit 1 batch | ✅ | |
| | 3 | Entraînement texte | ✅ livrée | perplexité val < 30 (Colab) | ✅ | |
| | 4 | Encodeur image from scratch | ✅ livrée | ViT entraînable intégré | ✅ | |
| | 5 | Alignement image-texte (CLIP) | ✅ livrée | retrieval 50 classes jouets | ✅ | |
| | 6 | VLM génératif image+texte | ✅ livrée | décrire une image | ✅ | |
| | 7 | Encodeur audio from scratch | ✅ livrée | transcrire des mots simples | ✅ | |
| | 8 | Modèle multimodal complet | ✅ livrée | voir ET écouter | ✅ | |
| | 9 | Vidéo (frames + audio) | ✅ livrée | décrire une vidéo | ✅ | |
| | 10 | MoE (20 experts, top-2) | ✅ livrée | IA multi-expert | ✅ | |
| | 11 | Mémoire / apprentissage des cours | ✅ livrée | RAG + mode B expérimental | ✅ | |
| | 12 | API + démo + publication | ✅ livrée | Cortex-0 servi (API/démo/Docker/Hub) | ⏳ | |
| | 2 | Transformer texte from scratch | ⬜ | modèle qui overfit 1 batch | ⬜ | |
| | 3 | Entraînement texte | ⬜ | perplexité val < 30 (Colab) | ⬜ | |
| | 4 | Encodeur image from scratch | ⬜ | ViT entraînable intégré | ⬜ | |
| | 5 | Alignement image-texte | ⬜ | CLIP maison, retrieval 50 classes | ⬜ | |
| | 6 | VLM génératif image+texte | ⬜ | décrit des images | ⬜ | |
| | 7 | Encodeur audio from scratch | ⬜ | transcrit des mots simples | ⬜ | |
| | 8 | Multimodal complet (T+I+A) | ⬜ | voit ET écoute | ⬜ | |
| | 9 | Vidéo | ⬜ | décrit une vidéo | ⬜ | |
| | 10 | MoE multi-expert | ⬜ | routeur top-2, 8 experts | ⬜ | |
| | 11 | Mémoire / RAG (+ permanent) | ⬜ | ingère un cours vidéo | ⬜ | |
| | 12 | API + Démo + Publication | ⬜ | FastAPI + Gradio + Space | ⬜ | |
|
|
| --- |
|
|
| ## Détail par phase |
|
|
| ### Phase 0 — Fondations |
| - [x] Arborescence `src/`, `app/`, `tests/`, `configs/`, `docs/`, `notebooks/` |
| - [x] `configs/model.yaml` (profil défaut, profil 50M, tailles de test) |
| - [x] `docs/architecture.md` (squelette structuré) |
| - [x] `docs/decisions.md` (ADR) |
| - [x] `docs/phases.md` (ce fichier) |
| - [x] `pyproject.toml` + `requirements.txt` |
| - [x] `README.md` bilingue + `CHANGELOG.md` + `LICENSE` + `Dockerfile` + `.env.example` |
| - [x] Tests de fondation (TDD) |
| - [ ] **Validation utilisateur** (« phase 0 validée ») |
|
|
| ### Phase 1 — Tokenizer BPE from scratch |
| - [x] `src/tokenizer/special_tokens.py` (source unique de vérité, 19 tokens) |
| - [x] `src/tokenizer/train_tokenizer.py` (BPE, byte_fallback, initial_alphabet, CLI + API) |
| - [x] `src/tokenizer/__init__.py` (API `load_tokenizer` / `CortexTokenizer`) |
| - [x] `tests/test_tokenizer.py` (round-trip, accents, emojis, scripts inconnus, stabilité) |
| - [x] `notebooks/01_tokenizer.ipynb` (Colab, HF_TOKEN via Secrets) |
| - [x] Tokenizer réel entraîné : **32 000 tokens**, corpus Wikipedia FR (~150 Mo), 21,8 s |
| - [x] Artefacts `tokenizer/{tokenizer.json, special_tokens_map.json, tokenizer_config.json}` |
| - [x] Publication Hub |
| - [ ] **Validation utilisateur** (« phase 1 validée ») |
|
|
| ### Phases 2-12 |
| ⏳ Non démarrées. Chaque phase fera l'objet d'un plan détaillé avant exécution. |
|
|
| --- |
|
|
| ## Contraintes matérielles (rappel) |
|
|
| - Développement / tests : **CPU uniquement** (4 cœurs, ~15 Go RAM, pas de GPU). |
| - Entraînement réel : **notebook Colab par phase** (`notebooks/`). |
| - Aucun résultat d'entraînement inventé. Si une phase est infaisable ici, elle est |
| signalée et un scope réduit est proposé. |
|
|
