Add training recipe/script (README.md)
Browse files
README.md
CHANGED
|
@@ -195,6 +195,9 @@ print(generate(model, tok, "Photosynthesis is the process by which", max_new_tok
|
|
| 195 |
on smaller models, about 0.3 eff) should not be read as real.
|
| 196 |
- English and Polish scores use **our** protocol; they are not official leaderboard results, and self-reported numbers
|
| 197 |
of other models measured differently are not comparable.
|
|
|
|
|
|
|
|
|
|
| 198 |
|
| 199 |
## License
|
| 200 |
|
|
@@ -210,7 +213,9 @@ od zera na 24,9 mld tokenów (ok. 2/3 polski, 1/3 angielski). Wyniki według **n
|
|
| 210 |
eff (angielski) **74,71**, eff-PL **79,77**, PL czyste **69,42 ± 0,58**. Warunek ustalony przed pierwszym pomiarem
|
| 211 |
po polsku (PL czyste ≥ 68,62, czyli v4 − 1 pkt) jest spełniony. W polskim v6 jest **w granicach jednego błędu standardowego od
|
| 212 |
GoLLeM v4** (który trenowano tylko po polsku), w angielskim poniżej GoLLeM v5 128M (tylko angielski). Model do badań,
|
| 213 |
-
nie do zastosowań produkcyjnych.
|
|
|
|
|
|
|
| 214 |
|
| 215 |
## Appendix: OpenStax attribution
|
| 216 |
|
|
|
|
| 195 |
on smaller models, about 0.3 eff) should not be read as real.
|
| 196 |
- English and Polish scores use **our** protocol; they are not official leaderboard results, and self-reported numbers
|
| 197 |
of other models measured differently are not comparable.
|
| 198 |
+
- **Self-description.** Prompted in chat format (ChatML), the model may describe itself as "an AI language model
|
| 199 |
+
created by OpenAI". The English pretraining mix contains model-generated chat data (UltraChat, WildChat) with such
|
| 200 |
+
self-descriptions. GoLLeM is **not** affiliated with OpenAI; it was built by Fabryka AI (author: Arkadiusz Słota).
|
| 201 |
|
| 202 |
## License
|
| 203 |
|
|
|
|
| 213 |
eff (angielski) **74,71**, eff-PL **79,77**, PL czyste **69,42 ± 0,58**. Warunek ustalony przed pierwszym pomiarem
|
| 214 |
po polsku (PL czyste ≥ 68,62, czyli v4 − 1 pkt) jest spełniony. W polskim v6 jest **w granicach jednego błędu standardowego od
|
| 215 |
GoLLeM v4** (który trenowano tylko po polsku), w angielskim poniżej GoLLeM v5 128M (tylko angielski). Model do badań,
|
| 216 |
+
nie do zastosowań produkcyjnych. W formacie czatu (ChatML) model może przedstawiać się jako „model językowy stworzony
|
| 217 |
+
przez OpenAI”, bo angielska część danych zawiera rozmowy wygenerowane modelami OpenAI (UltraChat, WildChat). GoLLeM nie
|
| 218 |
+
jest powiązany z OpenAI; stworzyła go Fabryka AI (autor: Arkadiusz Słota).
|
| 219 |
|
| 220 |
## Appendix: OpenStax attribution
|
| 221 |
|