Maggio33 commited on
Commit
a845152
·
verified ·
1 Parent(s): 63be543

Fix: resume point wording, prediction claim from 1.01 on, one point per step in history CSV

Browse files
Files changed (3) hide show
  1. index.html +5 -4
  2. scores-history.csv +0 -1
  3. scores-history.png +2 -2
index.html CHANGED
@@ -46,8 +46,8 @@
46
  <h1>Misja – Slayer 1B</h1>
47
  <p class="by">Arkadiusz Słota – Fabryka AI (SlayerLab)</p>
48
  <p class="lead">Budujemy od zera polski model językowy wielkości ~1 mld parametrów i ulepszamy go wersja po wersji —
49
- każdą wersję trenujemy dalej z tego miejsca, w którym skończyła poprzednia, na nowych danych. Wszystkie wersje,
50
- punkty kontrolne i wyniki są publiczne.</p>
51
  <div class="pills">
52
  <span class="pill"><b>1 073 912 851</b> parametrów</span>
53
  <span class="pill">tokenizer <b>32 768</b>, polski</span>
@@ -118,8 +118,9 @@
118
  wygaszania tempa uczenia — i dostaje nową porcję danych, której model jeszcze nie widział.</li>
119
  <li><b>Od 1.02 nie wygaszamy po drodze.</b> Trenujemy dalej na całym przygotowanym zasobie (~24 mld tokenów),
120
  a końcowe wygaszanie zrobimy raz, na końcu.</li>
121
- <li><b>Wszystko sprawdzamy.</b> Każdy punkt kontrolny ma sumę SHA-256 i jest pobierany z powrotem do kontroli;
122
- przed każdym biegiem zapisujemy prognozę straty i potem uczciwie ją oceniamy.</li>
 
123
  </ol>
124
  <p class="note">Raport techniczny:
125
  <a href="https://github.com/slayerlabs/Fabryka-AI-Notes/tree/main/papers/slayerlabs/2026-10-23_slayer1b-continuation">Slayer1B: Continuing a Polish-Dominant Base Model</a>.</p>
 
46
  <h1>Misja – Slayer 1B</h1>
47
  <p class="by">Arkadiusz Słota – Fabryka AI (SlayerLab)</p>
48
  <p class="lead">Budujemy od zera polski model językowy wielkości ~1 mld parametrów i ulepszamy go wersja po wersji —
49
+ każdą wersję trenujemy dalej od punktu kontrolnego poprzedniej sprzed jej końcowego wygaszania tempa uczenia, na nowych
50
+ danych. Wszystkie wersje, punkty kontrolne i wyniki są publiczne.</p>
51
  <div class="pills">
52
  <span class="pill"><b>1 073 912 851</b> parametrów</span>
53
  <span class="pill">tokenizer <b>32 768</b>, polski</span>
 
118
  wygaszania tempa uczenia — i dostaje nową porcję danych, której model jeszcze nie widział.</li>
119
  <li><b>Od 1.02 nie wygaszamy po drodze.</b> Trenujemy dalej na całym przygotowanym zasobie (~24 mld tokenów),
120
  a końcowe wygaszanie zrobimy raz, na końcu.</li>
121
+ <li><b>Wszystko sprawdzamy.</b> Każdy punkt kontrolny ma sumę SHA-256 zapisaną poza maszyną treningową, a pliki
122
+ pobieramy z powrotem i porównujemy z nią; od wersji 1.01 przed każdym biegiem zapisujemy prognozę straty i potem ją
123
+ oceniamy.</li>
124
  </ol>
125
  <p class="note">Raport techniczny:
126
  <a href="https://github.com/slayerlabs/Fabryka-AI-Notes/tree/main/papers/slayerlabs/2026-10-23_slayer1b-continuation">Slayer1B: Continuing a Polish-Dominant Base Model</a>.</p>
scores-history.csv CHANGED
@@ -23,7 +23,6 @@ model,step,tokens,checkpoint_sha256,arc_easy,blimp,wikitext2_token_ppl,wikitext2
23
  1.01,2850,2988441600,decd0f02487fa15c65aaaaf9e2c2320f196571efa0337c8c588705915f7fd315,47.6,73.61,38.2961,2.4238,72.16,98.26,40.45,B
24
  1.01,2860,2998927360,b0a288798ae614c38e37ff8176a293f6650cec2221d59e46d5116afac7c31eba,47.98,73.63,38.238,2.423,72.29,98.29,40.36,B
25
  1.02,2400,2516582400,289186300fa010c6918f4f6fd1fcf4e3054707f4d616200f52944d11d58109f8,44.7,72.08,44.9821,2.5205,70.45,97.77,39.18,D
26
- 1.02,2400,2516582400,289186300fa010c6918f4f6fd1fcf4e3054707f4d616200f52944d11d58109f8,44.7,72.08,44.9821,2.5205,70.45,97.77,39.18,D
27
  1.02,2550,2673868800,14cd38933fcc2d6565fe9664d735cfc790c19aafb24d2d673f39dcca90a2ad6f,43.86,72.74,43.2078,2.4959,70.45,98.2,38.47,D
28
  1.02,2700,2831155200,7b6b7089f203825d413af43cbd06e8ef46f66e66bbf08267b60edd74dc48c25a,45.08,71.54,43.1767,2.4955,70.46,97.83,39.06,D
29
  1.02,2850,2988441600,c6883b8589a03f8859003f67cd65cf6ee82f185f3a52008380dcfa54b83c283e,45.33,72.11,42.0055,2.4789,70.77,97.95,39.14,D
 
23
  1.01,2850,2988441600,decd0f02487fa15c65aaaaf9e2c2320f196571efa0337c8c588705915f7fd315,47.6,73.61,38.2961,2.4238,72.16,98.26,40.45,B
24
  1.01,2860,2998927360,b0a288798ae614c38e37ff8176a293f6650cec2221d59e46d5116afac7c31eba,47.98,73.63,38.238,2.423,72.29,98.29,40.36,B
25
  1.02,2400,2516582400,289186300fa010c6918f4f6fd1fcf4e3054707f4d616200f52944d11d58109f8,44.7,72.08,44.9821,2.5205,70.45,97.77,39.18,D
 
26
  1.02,2550,2673868800,14cd38933fcc2d6565fe9664d735cfc790c19aafb24d2d673f39dcca90a2ad6f,43.86,72.74,43.2078,2.4959,70.45,98.2,38.47,D
27
  1.02,2700,2831155200,7b6b7089f203825d413af43cbd06e8ef46f66e66bbf08267b60edd74dc48c25a,45.08,71.54,43.1767,2.4955,70.46,97.83,39.06,D
28
  1.02,2850,2988441600,c6883b8589a03f8859003f67cd65cf6ee82f185f3a52008380dcfa54b83c283e,45.33,72.11,42.0055,2.4789,70.77,97.95,39.14,D
scores-history.png CHANGED

Git LFS Details

  • SHA256: 91ea0fcbbd485df1606ba4e7919a979d64fd2532bf1177a86addf0e23e409198
  • Pointer size: 131 Bytes
  • Size of remote file: 250 kB

Git LFS Details

  • SHA256: b649fe6057f3bbc4fc437972b46ea27cd0527a0fd51bf0b70e2f596533b28486
  • Pointer size: 131 Bytes
  • Size of remote file: 249 kB