Maggio33 commited on
Commit
77d75a2
·
verified ·
1 Parent(s): bf9f6d6

Add training recipe/script (README.md)

Browse files
Files changed (1) hide show
  1. README.md +6 -1
README.md CHANGED
@@ -195,6 +195,9 @@ print(generate(model, tok, "Photosynthesis is the process by which", max_new_tok
195
  on smaller models, about 0.3 eff) should not be read as real.
196
  - English and Polish scores use **our** protocol; they are not official leaderboard results, and self-reported numbers
197
  of other models measured differently are not comparable.
 
 
 
198
 
199
  ## License
200
 
@@ -210,7 +213,9 @@ od zera na 24,9 mld tokenów (ok. 2/3 polski, 1/3 angielski). Wyniki według **n
210
  eff (angielski) **74,71**, eff-PL **79,77**, PL czyste **69,42 ± 0,58**. Warunek ustalony przed pierwszym pomiarem
211
  po polsku (PL czyste ≥ 68,62, czyli v4 − 1 pkt) jest spełniony. W polskim v6 jest **w granicach jednego błędu standardowego od
212
  GoLLeM v4** (który trenowano tylko po polsku), w angielskim poniżej GoLLeM v5 128M (tylko angielski). Model do badań,
213
- nie do zastosowań produkcyjnych.
 
 
214
 
215
  ## Appendix: OpenStax attribution
216
 
 
195
  on smaller models, about 0.3 eff) should not be read as real.
196
  - English and Polish scores use **our** protocol; they are not official leaderboard results, and self-reported numbers
197
  of other models measured differently are not comparable.
198
+ - **Self-description.** Prompted in chat format (ChatML), the model may describe itself as "an AI language model
199
+ created by OpenAI". The English pretraining mix contains model-generated chat data (UltraChat, WildChat) with such
200
+ self-descriptions. GoLLeM is **not** affiliated with OpenAI; it was built by Fabryka AI (author: Arkadiusz Słota).
201
 
202
  ## License
203
 
 
213
  eff (angielski) **74,71**, eff-PL **79,77**, PL czyste **69,42 ± 0,58**. Warunek ustalony przed pierwszym pomiarem
214
  po polsku (PL czyste ≥ 68,62, czyli v4 − 1 pkt) jest spełniony. W polskim v6 jest **w granicach jednego błędu standardowego od
215
  GoLLeM v4** (który trenowano tylko po polsku), w angielskim poniżej GoLLeM v5 128M (tylko angielski). Model do badań,
216
+ nie do zastosowań produkcyjnych. W formacie czatu (ChatML) model może przedstawiać się jako „model językowy stworzony
217
+ przez OpenAI”, bo angielska część danych zawiera rozmowy wygenerowane modelami OpenAI (UltraChat, WildChat). GoLLeM nie
218
+ jest powiązany z OpenAI; stworzyła go Fabryka AI (autor: Arkadiusz Słota).
219
 
220
  ## Appendix: OpenStax attribution
221