card: trajektoria ckpt_24000 (BPB 0.903, val 2.689, ~49%)
Browse files
README.md
CHANGED
|
@@ -40,8 +40,9 @@ Polski model językowy typu dekoder (GPT), 250 mln parametrów, trenowany od zer
|
|
| 40 |
| `ckpt_18000` | 18000 | ~37% | 2.799 | 0.924 |
|
| 41 |
| `ckpt_20000` | 20000 | ~41% | 2.757 | 0.915 |
|
| 42 |
| `ckpt_22000` | 22000 | ~45% | 2.756 | 0.910 |
|
|
|
|
| 43 |
|
| 44 |
-
Migawki dokładamy w miarę postępu treningu (obecnie do `
|
| 45 |
|
| 46 |
**Prognoza na koniec treningu (24 mld tokenów, ~48828 kroków): BPB rzędu ~0.87–0.89** — odręczny przedział (nie formalne CI) z dopasowania power-law na 11 punktach pomiarowych (kroki 2000–22000). To wartość RUCHOMA i jeszcze niezabankowana: wszystkie punkty są sprzed wygaszania współczynnika uczenia (annealing), gdzie krzywa może zmienić nachylenie. Rzetelny test prognozy nastąpi dopiero na punktach z fazy annealingu (>40 tys. kroków). Teoretyczne dno języka ~0.83. Podajemy orientacyjnie, z niepewnością, nie jako twardą liczbę. **Strata walidacyjna ~2.5–2.8** (metryka szumna, końcowa wartość niepewna; z wygaszaniem współczynnika uczenia realny wynik bliżej dolnej granicy). Model dotąd **bije** prognozę power-law na dwóch niezależnych metrykach (strata walidacyjna i BPB) — spadek jest realny; przedziały zawężą się w miarę treningu.
|
| 47 |
|
|
|
|
| 40 |
| `ckpt_18000` | 18000 | ~37% | 2.799 | 0.924 |
|
| 41 |
| `ckpt_20000` | 20000 | ~41% | 2.757 | 0.915 |
|
| 42 |
| `ckpt_22000` | 22000 | ~45% | 2.756 | 0.910 |
|
| 43 |
+
| `ckpt_24000` | 24000 | ~49% | 2.689 | 0.903 |
|
| 44 |
|
| 45 |
+
Migawki dokładamy w miarę postępu treningu (obecnie do `ckpt_24000`, ~49% budżetu). **Widać jednostajny spadek — model naprawdę się uczy** (strata walidacyjna ≈ strata treningowa, brak przeuczenia; prognozę sprawdzamy poza oknem dopasowania na dwóch niezależnych metrykach — @18000 trafiła (Δ≈−0.001), a @20000/22000/24000 realny wynik wyszedł poniżej ekstrapolacji, tj. model uczy się szybciej niż krzywa potęgowa). BPB spada monotonicznie (0.978→0.903); wahania straty walidacyjnej to szum pojedynczego batcha, nie zmiana trendu.
|
| 46 |
|
| 47 |
**Prognoza na koniec treningu (24 mld tokenów, ~48828 kroków): BPB rzędu ~0.87–0.89** — odręczny przedział (nie formalne CI) z dopasowania power-law na 11 punktach pomiarowych (kroki 2000–22000). To wartość RUCHOMA i jeszcze niezabankowana: wszystkie punkty są sprzed wygaszania współczynnika uczenia (annealing), gdzie krzywa może zmienić nachylenie. Rzetelny test prognozy nastąpi dopiero na punktach z fazy annealingu (>40 tys. kroków). Teoretyczne dno języka ~0.83. Podajemy orientacyjnie, z niepewnością, nie jako twardą liczbę. **Strata walidacyjna ~2.5–2.8** (metryka szumna, końcowa wartość niepewna; z wygaszaniem współczynnika uczenia realny wynik bliżej dolnej granicy). Model dotąd **bije** prognozę power-law na dwóch niezależnych metrykach (strata walidacyjna i BPB) — spadek jest realny; przedziały zawężą się w miarę treningu.
|
| 48 |
|