Upload folder using huggingface_hub

README.md

@@ -1,3 +1,82 @@
 ---
-license: apache-2.0
+language: fr
+tags:
+  - cgi
+  - fiscal
+  - transformer
+  - from-scratch
+license: other
 ---
+
+# CGI Transformer
+
+Modèle transformer entraîné from scratch sur le Code Général des Impôts (CGI) 2026 français.
+Architecture custom (RoPE, RMSNorm, SwiGLU, attention causale) — voir `config.json` pour les
+hyperparamètres et le dépôt source pour le code du modèle (`CGITransformer`).
+
+## Architecture
+
+| paramètre | valeur |
+|---|---|
+| vocab_size | 10413 |
+| d_model | 256 |
+| num_heads | 8 |
+| num_layers | 6 |
+| hidden_dim | 1024 |
+| max_seq_len | 512 |
+| dropout | 0.1 |
+
+## Entraînement
+
+| info | valeur |
+|---|---|
+| best_epoch | 14 |
+| epochs_trained | 18 |
+| learning_rate | 0.0002 |
+| batch_size | 8 |
+| weight_decay | 0.1 |
+| dropout | 0.1 |
+| label_smoothing | 0.1 |
+
+## Métriques (meilleur checkpoint)
+
+| métrique | valeur |
+|---|---|
+| val_loss | 2.7281 |
+| val_perplexity | 15.3035 |
+| val_accuracy | 0.5590 |
+| test_loss | 2.4548 |
+| test_perplexity | 11.6441 |
+| test_accuracy | 0.5934 |
+
+## Utilisation
+
+Ce modèle utilise une architecture custom, non enregistrée dans `transformers`.
+Chargement avec le code source du dépôt d'origine :
+
+```python
+from safetensors.torch import load_file
+from src.model import CGITransformer, CGITransformerConfig
+
+with open("config.json") as f:
+    import json
+    cfg = json.load(f)
+
+config = CGITransformerConfig(
+    vocab_size=cfg["vocab_size"], d_model=cfg["d_model"], num_heads=cfg["num_heads"],
+    num_layers=cfg["num_layers"], hidden_dim=cfg["hidden_dim"], max_seq_len=cfg["max_seq_len"],
+    dropout=0.0,
+)
+model = CGITransformer(config)
+# lm_head.weight est tied avec l'embedding et n'est pas dupliqué dans le fichier safetensors
+# (déjà tied à la construction du modèle) -> strict=False pour ignorer cette clé absente
+model.load_state_dict(load_file("model.safetensors"), strict=False)
+model.eval()
+```
+
+Le tokenizer est un `tokenizers.Tokenizer` (fichier `tokenizer.json`) :
+
+```python
+from tokenizers import Tokenizer
+tokenizer = Tokenizer.from_file("tokenizer.json")
+```

config.json

@@ -0,0 +1,14 @@
+{
+  "model_type": "cgi_transformer",
+  "architectures": [
+    "CGITransformer"
+  ],
+  "vocab_size": 10413,
+  "d_model": 256,
+  "num_heads": 8,
+  "num_layers": 6,
+  "hidden_dim": 1024,
+  "max_seq_len": 512,
+  "dropout": 0.1,
+  "tie_word_embeddings": true
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2461f8930d0d9b40e0c8fbc01edfe4f6be89e3d86cec3711f84f039e4eb7f3e2
+size 35846656

training_metrics.json

@@ -0,0 +1,8 @@
+{
+  "val_loss": 2.728078884899948,
+  "val_perplexity": 15.303459055430094,
+  "val_accuracy": 0.5590273280663126,
+  "test_loss": 2.45479868904326,
+  "test_perplexity": 11.644089230175572,
+  "test_accuracy": 0.5933611310183073
+}