Maggio33 commited on
Commit
e2c304e
·
verified ·
1 Parent(s): f91b705

card: trajektoria ckpt_24000 (BPB 0.903, val 2.689, ~49%)

Browse files
Files changed (1) hide show
  1. README.md +2 -1
README.md CHANGED
@@ -40,8 +40,9 @@ Polski model językowy typu dekoder (GPT), 250 mln parametrów, trenowany od zer
40
  | `ckpt_18000` | 18000 | ~37% | 2.799 | 0.924 |
41
  | `ckpt_20000` | 20000 | ~41% | 2.757 | 0.915 |
42
  | `ckpt_22000` | 22000 | ~45% | 2.756 | 0.910 |
 
43
 
44
- Migawki dokładamy w miarę postępu treningu (obecnie do `ckpt_22000`, ~45% budżetu). **Widać jednostajny spadek — model naprawdę się uczy** (strata walidacyjna ≈ strata treningowa, brak przeuczenia; prognozę sprawdzamy poza oknem dopasowania na dwóch niezależnych metrykach — @18000 trafiła (Δ≈−0.001), a @20000/22000 realny wynik wyszedł nieco poniżej ekstrapolacji, tj. model uczy się szybciej niż krzywa potęgowa). BPB spada monotonicznie (0.978→0.910); wahania straty walidacyjnej to szum pojedynczego batcha, nie zmiana trendu.
45
 
46
  **Prognoza na koniec treningu (24 mld tokenów, ~48828 kroków): BPB rzędu ~0.87–0.89** — odręczny przedział (nie formalne CI) z dopasowania power-law na 11 punktach pomiarowych (kroki 2000–22000). To wartość RUCHOMA i jeszcze niezabankowana: wszystkie punkty są sprzed wygaszania współczynnika uczenia (annealing), gdzie krzywa może zmienić nachylenie. Rzetelny test prognozy nastąpi dopiero na punktach z fazy annealingu (>40 tys. kroków). Teoretyczne dno języka ~0.83. Podajemy orientacyjnie, z niepewnością, nie jako twardą liczbę. **Strata walidacyjna ~2.5–2.8** (metryka szumna, końcowa wartość niepewna; z wygaszaniem współczynnika uczenia realny wynik bliżej dolnej granicy). Model dotąd **bije** prognozę power-law na dwóch niezależnych metrykach (strata walidacyjna i BPB) — spadek jest realny; przedziały zawężą się w miarę treningu.
47
 
 
40
  | `ckpt_18000` | 18000 | ~37% | 2.799 | 0.924 |
41
  | `ckpt_20000` | 20000 | ~41% | 2.757 | 0.915 |
42
  | `ckpt_22000` | 22000 | ~45% | 2.756 | 0.910 |
43
+ | `ckpt_24000` | 24000 | ~49% | 2.689 | 0.903 |
44
 
45
+ Migawki dokładamy w miarę postępu treningu (obecnie do `ckpt_24000`, ~49% budżetu). **Widać jednostajny spadek — model naprawdę się uczy** (strata walidacyjna ≈ strata treningowa, brak przeuczenia; prognozę sprawdzamy poza oknem dopasowania na dwóch niezależnych metrykach — @18000 trafiła (Δ≈−0.001), a @20000/22000/24000 realny wynik wyszedł poniżej ekstrapolacji, tj. model uczy się szybciej niż krzywa potęgowa). BPB spada monotonicznie (0.978→0.903); wahania straty walidacyjnej to szum pojedynczego batcha, nie zmiana trendu.
46
 
47
  **Prognoza na koniec treningu (24 mld tokenów, ~48828 kroków): BPB rzędu ~0.87–0.89** — odręczny przedział (nie formalne CI) z dopasowania power-law na 11 punktach pomiarowych (kroki 2000–22000). To wartość RUCHOMA i jeszcze niezabankowana: wszystkie punkty są sprzed wygaszania współczynnika uczenia (annealing), gdzie krzywa może zmienić nachylenie. Rzetelny test prognozy nastąpi dopiero na punktach z fazy annealingu (>40 tys. kroków). Teoretyczne dno języka ~0.83. Podajemy orientacyjnie, z niepewnością, nie jako twardą liczbę. **Strata walidacyjna ~2.5–2.8** (metryka szumna, końcowa wartość niepewna; z wygaszaniem współczynnika uczenia realny wynik bliżej dolnej granicy). Model dotąd **bije** prognozę power-law na dwóch niezależnych metrykach (strata walidacyjna i BPB) — spadek jest realny; przedziały zawężą się w miarę treningu.
48