Upload folder using huggingface_hub

README.md

@@ -14,197 +14,121 @@ tags:
 
 # GoLLeM-45M-PL
 
-Model językowy GPT-2 (42,5 mln parametrów) wytrenowany od zera na 2,96 GB polskiego
-tekstu, z **dedykowanym polskim tokenizerem BPE** (32 768 pozycji).
+Model GPT-2 (42,5 mln parametrów) wytrenowany od zera na 2,96 GB polskiego tekstu,
+z dedykowanym polskim tokenizerem BPE (32 768 pozycji).
 
-Model powstał jako **artefakt kontrolowanego eksperymentu**, a nie jako narzędzie
-użytkowe. Pytanie badawcze: *czy dedykowany tokenizer polski daje lepszy model
-językowy niż tokenizer GPT-2, przy tym samym budżecie treningowym?*
+Model jest **artefaktem eksperymentu badawczego**, nie narzędziem użytkowym.
+Pytanie: *czy dedykowany tokenizer polski daje lepszy model niż tokenizer GPT-2 przy
+tym samym budżecie treningowym?* Odpowiedź: **nie daje lepszego — daje porównywalny
+2,5× taniej.**
 
-**Odpowiedź: nie daje lepszego modelu — daje ten sam model taniej.** Szczegóły niżej.
+Kod, dane i pełna metodologia: https://github.com/KateMajzel/gollem-pl
 
----
+## Użycie
 
-## Wynik główny
+```python
+from transformers import pipeline
 
-| przebieg | tokenizer | budżet | BPB ↓ | parametry | czas |
-|---|---|---|---|---|---|
-| **R1** (ten model) | polski, 32 768 | 2,96 GB | **1,2043** | 42,5 M | **49,7 min** |
-| R2a | GPT-2, 50 257 | 2,96 GB (te same bajty) | **1,1918** | 51,5 M | 122,4 min |
-| R2b | GPT-2, 50 257 | 2 970 kroków (te same tokeny) | 1,2756 | 51,5 M | 62,4 min |
-| R3 | GPT-2 pretrained, zero-shot | — | 2,9555 | 124 M | — |
+pipe = pipeline("text-generation", model="KateMajzel/GoLLeM-45M-PL")
+print(pipe("W lesie mieszkał mały", max_new_tokens=50)[0]["generated_text"])
+```
 
-BPB = bits-per-byte na prywatnym held-oucie (1 999 dokumentów, 2 767 440 bajtów,
-identyczny tekst dla wszystkich modeli).
+Domyślne parametry generacji: `do_sample=True`, `temperature=0.8`, `top_p=0.9`,
+`repetition_penalty=1.15`. Dekodowanie zachłanne wpada w pętle powtórzeń — typowe dla
+modeli tej wielkości. 199 nieużywanych tokenów wypełniających (32 569–32 767)
+zablokowano przez `bad_words_ids`.
 
-Przedziały ufności (sparowany bootstrap, B = 10 000, CI 95%, względem R1):
+## Wyniki
 
-| porównanie | ΔBPB | CI 95% | wniosek |
-|---|---|---|---|
-| R2a − R1 | −0,0124 | [−0,0141; −0,0108] | R2a **istotnie lepszy** o 1,0% |
-| R2b − R1 | +0,0713 | [+0,0693; +0,0734] | R2b **istotnie gorszy** o 5,9% |
-| R3 − R1 | +1,7512 | [+1,7312; +1,7707] | R3 gorszy 2,45× |
+BPB na prywatnym held-oucie (1 999 dokumentów, identyczne 2 767 440 bajtów dla
+każdego modelu; średnie z 3 ziaren dla R1 i R2a):
 
-### Interpretacja
+| przebieg | tokenizer | budżet | BPB ↓ | sd | parametry | czas |
+|---|---|---|---|---|---|---|
+| **R1** (ten model) | polski, 32 768 | 2,96 GB | 1,2114 | 0,0100 | 42,5 M | **49,7 min** |
+| R2a | GPT-2, 50 257 | 2,96 GB — te same bajty | 1,1946 | 0,0035 | 51,5 M | 122,4 min |
+| R2b | GPT-2, 50 257 | 2 970 kroków — te same tokeny | 1,2756 | (n=1) | 51,5 M | 62,4 min |
+| R3 | GPT-2 zero-shot | — | 2,9555 | (n=1) | 124 M | — |
 
-Przy **równej ilości tekstu** tokenizer GPT-2 wygrywa o 1,0%. Przewaga jest realna
-statystycznie, ale kupiona kosztem 2,5× dłuższego treningu i 21% większego modelu —
-rzadszy tokenizer wykonuje po prostu więcej przejść przez sieć na ten sam bajt
-tekstu (1,30 mln kroków wobec 0,67 mln na held-oucie).
+Benchmarki zero-shot (log-likelihood z normalizacją PMI domenową):
 
-Przy **równym budżecie obliczeniowym** (R1 vs R2b) kierunek się odwraca i przewaga
-polskiego tokenizera wynosi 5,9%, czyli sześciokrotnie więcej.
+| zadanie | R1 | R2a | GPT-2 | klasa większościowa | losowo |
+|---|---|---|---|---|---|
+| PolEmo2-IN | 47,2% | 43,8% | 20,8% | 40,0% | 25,0% |
+| 8Tags | 31,5% | 29,8% | 17,8% | 16,5% | 12,5% |
 
-**Wniosek: dedykowany tokenizer kupuje efektywność, nie jakość modelowania.**
+### Interpretacja
 
-### Uwaga o perplexity
+Cztery niezależne pomiary (BPB, PolEmo2, 8Tags, prywatny held-out) nie wykazują
+istotnej przewagi żadnego tokenizera przy równym budżecie tekstu, a ich kierunki są
+niespójne. Rozstrzygająca obserwacja: **różnica BPB między dwoma ziarnami tego samego
+modelu (0,0186) przewyższa różnicę między modelami o odmiennych tokenizerach (0,0124).**
 
-Perplexity per token dla tych modeli wynosi odpowiednio 30,7 (R1) i 5,8 (R2a) — co
-sugerowałoby pięciokrotną przewagę GPT-2. To artefakt: modele o różnych tokenizerach
-przewidują jednostki różnej trudności, więc **perplexity jest między nimi
-nieporównywalna**. Jedyną poprawną metryką jest bits-per-byte.
+Przewaga leży w koszcie. Przy wyrównanym budżecie obliczeniowym (R1 vs R2b) tokenizer
+polski wygrywa o 5,30% BPB — 6,4 odchylenia. Ten sam wniosek uzyskał niezależnie zespół
+Bielika v3 PL na skali 11B (arXiv 2604.10799).
 
----
+### Uwaga o perplexity
+
+PPL/token wynosi 30,7 dla R1 i 5,8 dla R2a, co sugerowałoby pięciokrotną przewagę
+GPT-2. To artefakt: modele o różnych tokenizerach przewidują jednostki różnej trudności.
+**Perplexity jest między nimi nieporównywalna.** Jedyną poprawną metryką jest
+bits-per-byte.
 
 ## Tokenizer
 
-Byte-level BPE, 32 568 pozycji słownika + 200 tokenów specjalnych = 32 768.
-Pre-tokenizer w stylu GPT-4 (`\p{N}{1,3}`, cyfry cięte po trzy), bez normalizacji,
-round-trip bezstratny.
+Byte-level BPE, 32 568 pozycji + 200 specjalnych. 27,9% pozycji z polskimi
+diakrytykami, round-trip bezstratny, zero tokenów nieosiągalnych przez merge.
 
-| miara | ten tokenizer | GPT-2 |
+| | ten tokenizer | GPT-2 |
 |---|---|---|
-| bajty/token (korpus treningowy) | 4,050 | 2,066 |
+| bajty/token (korpus) | 4,050 | 2,066 |
 | bajty/token (held-out) | 4,103 | 2,134 |
-| gęstość względna | **1,96×** | 1,00× |
-| tokenów z 2,96 GB | 731 mln | 1 434 mln |
-
-27,9% pozycji słownika zawiera polskie znaki diakrytyczne. Zero tokenów
-nieosiągalnych przez merge.
-
-Uwaga: fertility mierzona na dopracowanej prozie wynosi 5,80 znaku/token, ale na
-realnym korpusie 4,05 bajtu/token. **Fertility należy podawać z korpusu, nie z
-wyselekcjonowanych zdań.**
-
----
+| gęstość | **1,96×** | 1,00× |
 
 ## Dane treningowe
 
-2,96 GB, 803 177 dokumentów po deduplikacji, źródło: [SpeakLeash](https://speakleash.org/).
+2,96 GB, 803 177 dokumentów, [SpeakLeash](https://speakleash.org/): 37% encyklopedia
+i literatura, 22% fora, 27% web, 11% publicystyka i nauka, 3% teksty urzędowe.
 
-| kategoria | udział | zbiory |
-|---|---|---|
-| encyklopedia, literatura | 37% | `plwiki`, `plwikisource`, `wolne_lektury_corpus`, `1000_novels_corpus_CLARIN-PL` |
-| fora dyskusyjne | 22% | `kafeteria`, `gazeta`, `elektroda`, `trojmiasto` |
-| publicystyka, nauka | 11% | `news_3/4/5`, `biblioteka_nauki_pl_corpus` |
-| teksty urzędowe | 3% | `ISAP_corpus` |
-| web | 27% | `HPLT_1`, `HPLT_2`, `web_artykuły_inne_1` |
-
-**Celowo wykluczone:** `text_translated` i `open_subtitles` (translationese),
-`web_synt_*` (tekst syntetyczny), `tekstowo_*` (teksty piosenek — prawa autorskie),
-`cc_*` i `*_madlad` (surowy Common Crawl bez filtracji jakości).
-
-Udział tekstów urzędowych ograniczono do 3%, ponieważ tokenizer był już w tę stronę
-przechylony (najdłuższe tokeny: `Ġniepełnosprawności`, `Ġzagospodarowania`).
-
-Licencje poszczególnych zbiorów: patrz SpeakLeash. Użytkownik odpowiada za
-weryfikację warunków dla swojego zastosowania.
-
-**Znana właściwość danych:** korpus zawiera windowsowe końce linii (`\r\n`), które
-model odtwarza w generacjach.
-
----
+Celowo wykluczone: tłumaczenia i napisy (translationese), tekst syntetyczny, teksty
+piosenek (prawa autorskie), surowy Common Crawl. Licencje zbiorów po stronie SpeakLeash.
 
-## Ewaluacja — metodologia
+## Architektura
 
-Held-out: 1 999 dokumentów wydzielonych **przed** treningiem, stratyfikowanych
-proporcjonalnie po źródłach, zweryfikowanych na zerowe pokrycie z korpusem
-treningowym (jeden wykryty duplikat usunięto).
-
-Każdy dokument przycięty do **1 800 bajtów UTF-8 przed tokenizacją** — nie do
-`block_size` tokenów. Przycięcie po tokenach dawałoby każdemu modelowi inną ilość
-tekstu (1 023 tokeny to ~4 100 bajtów przy tokenizerze polskim i ~2 100 przy GPT-2),
-co unieważniłoby porównanie. Wszystkie cztery pomiary wykonano na identycznych
-2 767 440 bajtach.
-
----
-
-## Architektura i trening
-
-Architektura identyczna z GPT-2 (nanoGPT), dobrana celowo: pozwala porównywać
-się z GPT-2 przy architekturze jako zmiennej stałej.
-
-| | |
-|---|---|
-| warstwy / głowice / wymiar | 8 / 8 / 512 |
-| kontekst | 1 024 tokeny |
-| parametry | 42,5 M (25,7 M niezanurzeniowych) |
-| tokeny treningowe | 731 mln (17,2 na parametr) |
-| optymalizator | AdamW, lr 1e-3 → 1e-4 (cosine), warmup 150 |
-| batch efektywny | 245 760 tokenów (12 × 20 × 1024) |
-| precyzja | bfloat16 |
-| sprzęt | 1× RTX 5080 (16 GB), ~1 004 ms/iterację, MFU ~23% |
-| epoki | 1 (każdy dokument widziany raz) |
-
----
+8 warstw × 8 głowic × 512 wymiarów, kontekst 1 024 tokeny, 42,5 M parametrów
+(25,7 M niezanurzeniowych), 731 mln tokenów treningowych (17,2 na parametr),
+AdamW lr 1e-3 → 1e-4, bfloat16, 1 epoka, 1× RTX 5080.
 
 ## Ograniczenia
 
-- **Skala.** 42,5 M parametrów i godzina treningu. Model produkuje poprawną
-  polszczyznę na poziomie zdania, ale **halucynuje fakty** i traci spójność po
-  kilku zdaniach. Przykład z generacji: *„wieś znalazła się w powiecie
-  częstochowskim, gminie Łęczna"* — obie nazwy istnieją, zestawienie jest fałszywe.
-- **Brak instrukcji i wyrównania.** To model bazowy, wyłącznie kontynuacja tekstu.
-  Nie przeszedł żadnego dostrajania ani filtrowania bezpieczeństwa.
-- **Dane z forów internetowych.** Model może odtwarzać uprzedzenia i język obecny
-  w źródłach. Nie nadaje się do zastosowań mających kontakt z użytkownikiem
-  końcowym, a w szczególności z dziećmi, bez nadzoru człowieka.
-- **Wariancja ziarna nie zmierzona.** Przedziały ufności pochodzą z bootstrapu po
-  dokumentach held-outu i obejmują niepewność doboru danych ewaluacyjnych, **nie**
-  niepewność ziarna treningowego. Różnica 1,0% (R1 vs R2a) mieści się w zakresie,
-  który powtórka z innym seedem mogłaby odwrócić. Wniosek o 5,9% (R1 vs R2b) jest
-  odporniejszy.
-- **Jedna konfiguracja, jedna skala.** Wyniki dotyczą 42 M parametrów i 3 GB danych.
-  Nie wiadomo, czy przenoszą się na większe modele lub korpusy.
-- **Reguła Chinchilli zastosowana do polskiego.** Proporcja 20 tokenów/parametr
-  została wyprowadzona dla angielskiego. Dla języka fleksyjnego optimum może leżeć
-  gdzie indziej.
-
----
-
-## Użycie
-
-```python
-from transformers import pipeline
-
-pipe = pipeline("text-generation", model="KateMajzel/GoLLeM-45M-PL")
-print(pipe("W lesie mieszkał mały", max_new_tokens=50)[0]["generated_text"])
-```
-
-Zalecane parametry generacji (ustawione domyślnie): `do_sample=True`,
-`temperature=0.8`, `top_p=0.9`, `repetition_penalty=1.15`. Dekodowanie zachłanne
-(`do_sample=False`) wpada w pętle powtórzeń — typowe dla modeli tej wielkości.
-
-199 nieużywanych tokenów wypełniających (32 569–32 767) zablokowano przez
-`bad_words_ids`; nigdy nie widziały gradientu.
-
----
+- **Skala.** Model produkuje poprawną polszczyznę na poziomie zdania, ale halucynuje
+  fakty i traci spójność po kilku zdaniach. Przykład z generacji: *„wieś znalazła się
+  w powiecie częstochowskim, gminie Łęczna"* — obie nazwy istnieją, zestawienie jest
+  fałszywe.
+- **Model bazowy.** Wyłącznie kontynuacja tekstu; bez dostrajania instrukcyjnego
+  i bez filtrowania bezpieczeństwa.
+- **Dane z forów internetowych.** Model może odtwarzać obecne tam uprzedzenia i język.
+  Nie nadaje się do zastosowań z udziałem użytkownika końcowego — w szczególności
+  dzieci — bez nadzoru człowieka.
+- **Jedna skala i jedna konfiguracja.** Wyniki dotyczą 42 M parametrów i 3 GB danych.
+- **Rejestr zależny od miksu danych.** Przy prompcie z bajki dla dzieci model
+  odpowiada językiem forów lub haseł encyklopedycznych.
+- Korpus zawiera windowsowe końce linii (`\r\n`), które model odtwarza.
 
 ## Odtwarzalność
 
-Kod, konfiguracje i skrypty ewaluacyjne: https://github.com/KateMajzel/gollem-pl.
-Bazuje na [nanoGPT](https://github.com/karpathy/nanoGPT) (MIT, Andrej Karpathy).
+Kod, konfiguracje, skrypty ewaluacyjne i opis pięciu pułapek metodologicznych:
+https://github.com/KateMajzel/gollem-pl
 
-Pełny pipeline: pobranie danych → deduplikacja → wydzielenie held-outu z audytem
-wycieków → tokenizacja dwoma tokenizerami na tym samym splicie → trzy przebiegi
-treningowe → BPB z bootstrapem → eksport.
+Bazuje na [nanoGPT](https://github.com/karpathy/nanoGPT) (MIT, Andrej Karpathy).
 
 ## Cytowanie
 
 ```bibtex
 @misc{gollem45mpl,
   title  = {GoLLeM-45M-PL: ablacja tokenizera dla polskiego modelu językowego},
-  author = {Katarzyna Majzel-Pośpiech},
+  author = {Majzel-Pośpiech, Katarzyna},
   year   = {2026},
   url    = {https://huggingface.co/KateMajzel/GoLLeM-45M-PL}
 }