Mathieu680 commited on
Commit
adfc2b8
·
verified ·
1 Parent(s): eae0b7b

Réécrit la fiche modèle Rastignac 1.0

Browse files
Files changed (1) hide show
  1. README.md +55 -53
README.md CHANGED
@@ -12,17 +12,18 @@ tags:
12
 
13
  # Rastignac 1.0 — 126M
14
 
15
- Rastignac 1.0 est un modèle de langage causal français d'environ **126,5 millions
16
- de paramètres**, entraîné entièrement depuis zéro sur un corpus de la littérature
17
- française. Il est conçu pour la **complétion de texte** : on lui donne un début
18
- de phrase ou de paragraphe et il le poursuit.
 
19
 
20
- ## Utilisation avec Transformers
21
 
22
  ```python
23
  from transformers import AutoModelForCausalLM, AutoTokenizer
24
 
25
- model_id = "Mathieu680/Rastignac-126M"
26
  tokenizer = AutoTokenizer.from_pretrained(model_id)
27
  model = AutoModelForCausalLM.from_pretrained(model_id)
28
 
@@ -41,56 +42,57 @@ output = model.generate(
41
  print(tokenizer.decode(output[0], skip_special_tokens=False))
42
  ```
43
 
44
- Le fichier `run_local.py` permet aussi de faire un test local après clonage du
45
- dépôt :
46
 
47
- ```bash
48
- python run_local.py --prompt "La nuit tombait sur Paris lorsque"
 
 
 
 
 
 
49
  ```
50
 
51
- ## Architecture et entraînement
52
-
53
- - Architecture : GPT-2 style causal language model
54
- - Paramètres : 126 481 920
55
- - Couches : 16
56
- - Têtes d'attention : 12
57
- - Dimension cachée : 768
58
- - Vocabulaire : 16 000 tokens, BPE byte-level français
59
- - Longueur de contexte : 1 024 tokens
60
- - Mise à jour : 30 000 étapes
61
- - Tokens d'entraînement parcourus : 983 040 000
62
- - Corpus : 3 348 textes retenus
63
- - Date moyenne de publication indiquée des œuvres : environ **1898**
64
- (763 œuvres disposent d'une date explicite dans les métadonnées)
65
- - Tokens du corpus d'entraînement : 315 832 633
66
- - Tokens de validation : 27 511 882
67
- - Meilleure loss de validation interne : 2,7920, à l'étape 29 750
68
-
69
- La loss et la perplexité indiquées sont mesurées sur la validation interne du
70
- projet.
71
-
72
- ## Données et droits
73
-
74
- En particulier, la date de publication moyenne indiquée pour les œuvres datées
75
- est d'environ **1898**.
76
-
77
- Le corpus a été préparé à partir d'ebooks français référencés par Project
78
- Gutenberg. Le corpus source n'est pas inclus dans ce dépôt. Project Gutenberg
79
- précise que ses ebooks ne sont pas tous nécessairement réutilisables de la même
80
- façon hors des États-Unis et demande aux utilisateurs de vérifier le droit local
81
- applicable : [licence Project Gutenberg](https://www.gutenberg.org/policy/license)
82
- et [FAQ copyright](https://www.gutenberg.org/help/copyright).
83
-
84
- La présence d'un texte dans ce corpus ne constitue donc pas une garantie que
85
- tous les droits sont identiques dans chaque pays. Avant une réutilisation
86
- commerciale ou une redistribution large, il faut vérifier les auteurs, les
87
- éditions et la loi du pays concerné. Aucun corpus complet ni licence générale
88
- de domaine public n'est revendiqué ici.
89
 
90
  ## Reproduction
91
 
92
- Le fichier `training_metadata.json` décrit l'export et le fichier
93
- `provenance.json` résume l'architecture, le checkpoint et le corpus utilisés.
94
- Le dépôt contient les poids du meilleur checkpoint, le tokenizer et les fichiers
95
- nécessaires au chargement avec Transformers ; l'état de l'optimiseur et les
96
- fichiers binaires du corpus ne sont pas inclus.
 
12
 
13
  # Rastignac 1.0 — 126M
14
 
15
+ Rastignac 1.0 est un modèle de langage causal français de **126 481 920
16
+ paramètres**, entraîné entièrement depuis zéro sur **3 348 livres de la
17
+ littérature française**. Il est destiné à la complétion de texte : à partir
18
+ d’un début de phrase ou de paragraphe, il génère la suite dans un registre
19
+ français à dominante littéraire.
20
 
21
+ ## Utilisation
22
 
23
  ```python
24
  from transformers import AutoModelForCausalLM, AutoTokenizer
25
 
26
+ model_id = "Mathieu680/Rastignac-1.0-126M"
27
  tokenizer = AutoTokenizer.from_pretrained(model_id)
28
  model = AutoModelForCausalLM.from_pretrained(model_id)
29
 
 
42
  print(tokenizer.decode(output[0], skip_special_tokens=False))
43
  ```
44
 
45
+ Le modèle peut également être utilisé avec le pipeline standard :
 
46
 
47
+ ```python
48
+ from transformers import pipeline
49
+
50
+ generator = pipeline(
51
+ "text-generation",
52
+ model="Mathieu680/Rastignac-1.0-126M",
53
+ )
54
+ print(generator("La nuit tombait sur Paris lorsque", max_new_tokens=120)[0]["generated_text"])
55
  ```
56
 
57
+ ## Architecture
58
+
59
+ | Élément | Valeur |
60
+ |---|---:|
61
+ | Architecture | Transformer causal de type GPT-2 |
62
+ | Paramètres | 126 481 920 |
63
+ | Couches Transformer | 16 |
64
+ | Têtes d’attention | 12 |
65
+ | Dimension cachée | 768 |
66
+ | Dimension MLP | 3 072 |
67
+ | Vocabulaire | 16 000 tokens BPE byte-level |
68
+ | Contexte maximal | 1 024 tokens |
69
+ | Poids | `model.safetensors` |
70
+
71
+ ## Entraînement
72
+
73
+ Le modèle a été entraîné depuis zéro avec un objectif de prédiction du token
74
+ suivant. Le corpus contient **315 832 633 tokens d’entraînement** et
75
+ **27 511 882 tokens de validation**. La date de publication indiquée pour les
76
+ œuvres datées est en moyenne d’environ **1898** (763 œuvres disposent d’une
77
+ date explicite dans les métadonnées).
78
+
79
+ L’entraînement a représenté **30 000 mises à jour**, soit **983 040 000 tokens
80
+ parcourus**. La meilleure loss de validation interne est **2,7920**, obtenue à
81
+ l’étape 29 750.
82
+
83
+ ## Données
84
+
85
+ Le corpus a été constitué à partir d’ebooks français référencés par Project
86
+ Gutenberg. Les fichiers du corpus ne sont pas inclus dans ce dépôt.
87
+
88
+ Les droits applicables peuvent dépendre de l’auteur, de l’édition et du pays
89
+ où le modèle est utilisé ; il est recommandé de consulter la
90
+ [licence de Project Gutenberg](https://www.gutenberg.org/policy/license) avant
91
+ toute réutilisation.
 
 
 
92
 
93
  ## Reproduction
94
 
95
+ `training_metadata.json` et `provenance.json` décrivent l’export, le checkpoint,
96
+ le tokenizer et les volumes de données utilisés. Le dépôt contient uniquement
97
+ les poids, le tokenizer et les fichiers nécessaires au chargement avec
98
+ Transformers ; l’état de l’optimiseur et le corpus brut ne sont pas inclus.