Fix: resume point wording, prediction claim from 1.01 on, one point per step in history CSV
Browse files- index.html +5 -4
- scores-history.csv +0 -1
- scores-history.png +2 -2
index.html
CHANGED
|
@@ -46,8 +46,8 @@
|
|
| 46 |
<h1>Misja – Slayer 1B</h1>
|
| 47 |
<p class="by">Arkadiusz Słota – Fabryka AI (SlayerLab)</p>
|
| 48 |
<p class="lead">Budujemy od zera polski model językowy wielkości ~1 mld parametrów i ulepszamy go wersja po wersji —
|
| 49 |
-
każdą wersję trenujemy dalej
|
| 50 |
-
punkty kontrolne i wyniki są publiczne.</p>
|
| 51 |
<div class="pills">
|
| 52 |
<span class="pill"><b>1 073 912 851</b> parametrów</span>
|
| 53 |
<span class="pill">tokenizer <b>32 768</b>, polski</span>
|
|
@@ -118,8 +118,9 @@
|
|
| 118 |
wygaszania tempa uczenia — i dostaje nową porcję danych, której model jeszcze nie widział.</li>
|
| 119 |
<li><b>Od 1.02 nie wygaszamy po drodze.</b> Trenujemy dalej na całym przygotowanym zasobie (~24 mld tokenów),
|
| 120 |
a końcowe wygaszanie zrobimy raz, na końcu.</li>
|
| 121 |
-
<li><b>Wszystko sprawdzamy.</b> Każdy punkt kontrolny ma sumę SHA-256
|
| 122 |
-
przed każdym biegiem zapisujemy prognozę straty i potem
|
|
|
|
| 123 |
</ol>
|
| 124 |
<p class="note">Raport techniczny:
|
| 125 |
<a href="https://github.com/slayerlabs/Fabryka-AI-Notes/tree/main/papers/slayerlabs/2026-10-23_slayer1b-continuation">Slayer1B: Continuing a Polish-Dominant Base Model</a>.</p>
|
|
|
|
| 46 |
<h1>Misja – Slayer 1B</h1>
|
| 47 |
<p class="by">Arkadiusz Słota – Fabryka AI (SlayerLab)</p>
|
| 48 |
<p class="lead">Budujemy od zera polski model językowy wielkości ~1 mld parametrów i ulepszamy go wersja po wersji —
|
| 49 |
+
każdą wersję trenujemy dalej od punktu kontrolnego poprzedniej sprzed jej końcowego wygaszania tempa uczenia, na nowych
|
| 50 |
+
danych. Wszystkie wersje, punkty kontrolne i wyniki są publiczne.</p>
|
| 51 |
<div class="pills">
|
| 52 |
<span class="pill"><b>1 073 912 851</b> parametrów</span>
|
| 53 |
<span class="pill">tokenizer <b>32 768</b>, polski</span>
|
|
|
|
| 118 |
wygaszania tempa uczenia — i dostaje nową porcję danych, której model jeszcze nie widział.</li>
|
| 119 |
<li><b>Od 1.02 nie wygaszamy po drodze.</b> Trenujemy dalej na całym przygotowanym zasobie (~24 mld tokenów),
|
| 120 |
a końcowe wygaszanie zrobimy raz, na końcu.</li>
|
| 121 |
+
<li><b>Wszystko sprawdzamy.</b> Każdy punkt kontrolny ma sumę SHA-256 zapisaną poza maszyną treningową, a pliki
|
| 122 |
+
pobieramy z powrotem i porównujemy z nią; od wersji 1.01 przed każdym biegiem zapisujemy prognozę straty i potem ją
|
| 123 |
+
oceniamy.</li>
|
| 124 |
</ol>
|
| 125 |
<p class="note">Raport techniczny:
|
| 126 |
<a href="https://github.com/slayerlabs/Fabryka-AI-Notes/tree/main/papers/slayerlabs/2026-10-23_slayer1b-continuation">Slayer1B: Continuing a Polish-Dominant Base Model</a>.</p>
|
scores-history.csv
CHANGED
|
@@ -23,7 +23,6 @@ model,step,tokens,checkpoint_sha256,arc_easy,blimp,wikitext2_token_ppl,wikitext2
|
|
| 23 |
1.01,2850,2988441600,decd0f02487fa15c65aaaaf9e2c2320f196571efa0337c8c588705915f7fd315,47.6,73.61,38.2961,2.4238,72.16,98.26,40.45,B
|
| 24 |
1.01,2860,2998927360,b0a288798ae614c38e37ff8176a293f6650cec2221d59e46d5116afac7c31eba,47.98,73.63,38.238,2.423,72.29,98.29,40.36,B
|
| 25 |
1.02,2400,2516582400,289186300fa010c6918f4f6fd1fcf4e3054707f4d616200f52944d11d58109f8,44.7,72.08,44.9821,2.5205,70.45,97.77,39.18,D
|
| 26 |
-
1.02,2400,2516582400,289186300fa010c6918f4f6fd1fcf4e3054707f4d616200f52944d11d58109f8,44.7,72.08,44.9821,2.5205,70.45,97.77,39.18,D
|
| 27 |
1.02,2550,2673868800,14cd38933fcc2d6565fe9664d735cfc790c19aafb24d2d673f39dcca90a2ad6f,43.86,72.74,43.2078,2.4959,70.45,98.2,38.47,D
|
| 28 |
1.02,2700,2831155200,7b6b7089f203825d413af43cbd06e8ef46f66e66bbf08267b60edd74dc48c25a,45.08,71.54,43.1767,2.4955,70.46,97.83,39.06,D
|
| 29 |
1.02,2850,2988441600,c6883b8589a03f8859003f67cd65cf6ee82f185f3a52008380dcfa54b83c283e,45.33,72.11,42.0055,2.4789,70.77,97.95,39.14,D
|
|
|
|
| 23 |
1.01,2850,2988441600,decd0f02487fa15c65aaaaf9e2c2320f196571efa0337c8c588705915f7fd315,47.6,73.61,38.2961,2.4238,72.16,98.26,40.45,B
|
| 24 |
1.01,2860,2998927360,b0a288798ae614c38e37ff8176a293f6650cec2221d59e46d5116afac7c31eba,47.98,73.63,38.238,2.423,72.29,98.29,40.36,B
|
| 25 |
1.02,2400,2516582400,289186300fa010c6918f4f6fd1fcf4e3054707f4d616200f52944d11d58109f8,44.7,72.08,44.9821,2.5205,70.45,97.77,39.18,D
|
|
|
|
| 26 |
1.02,2550,2673868800,14cd38933fcc2d6565fe9664d735cfc790c19aafb24d2d673f39dcca90a2ad6f,43.86,72.74,43.2078,2.4959,70.45,98.2,38.47,D
|
| 27 |
1.02,2700,2831155200,7b6b7089f203825d413af43cbd06e8ef46f66e66bbf08267b60edd74dc48c25a,45.08,71.54,43.1767,2.4955,70.46,97.83,39.06,D
|
| 28 |
1.02,2850,2988441600,c6883b8589a03f8859003f67cd65cf6ee82f185f3a52008380dcfa54b83c283e,45.33,72.11,42.0055,2.4789,70.77,97.95,39.14,D
|
scores-history.png
CHANGED
|
Git LFS Details
|
|
Git LFS Details
|