Linda Sejf — weryfikator zdań + naprawa tokenizera Bielika v3 w GGUF
Elementy projektu Linda Sejf — cytuje przepis albo odmawia (Bielik Awards 2026, kategoria SLM): lokalny asystent dokumentów, w którym mały model (domyślnie Gemma-4-E4B, opcjonalnie Bielik-4.5B-v3 z naprawionym tokenizerem) odpowiada z odwołaniami [n] albo odmawia — bramka rerankera odmawia, gdy żaden fragment nie pasuje do pytania — a każde zdanie odpowiedzi jest sprawdzane względem cytowanego fragmentu. Strona projektu, film i demo: https://lindasejf.denmarkeast.cloudapp.azure.com/projekt/
To repozytorium zawiera:
| plik | co to jest |
|---|---|
verifier/model_int8.onnx |
cross-encoder (HerBERT-base, ONNX int8, 125 MB): „czy zdanie wynika z fragmentu?” |
verifier/tokenizer.json, sejf_verifier.json |
tokenizer i próg decyzji (0,857) |
tools/verifier_onnx.py |
ładowanie bez transformers (tylko onnxruntime + tokenizers) |
tools/fix_tokenizer.py |
naprawa tokenizera w dowolnym GGUF Bielika v3 (wagi bez zmian) |
tools/check_tokenizer.py |
porównanie tokenizacji llama.cpp vs oryginał HF |
results/ |
wyniki pomiarów opisanych niżej |
1. Weryfikator zdań
import sys; sys.path.insert(0, "tools")
import verifier_onnx
score, threshold, cfg = verifier_onnx.load("verifier", threads=4)
src = "Pracownikowi przysługuje urlop w wymiarze 26 dni, jeżeli jest zatrudniony co najmniej 10 lat."
print(score([("Pracownik zatrudniony co najmniej 10 lat ma 26 dni urlopu.", src),
("Pracownik zatrudniony co najmniej 10 lat ma 20 dni urlopu.", src)]))
# [0.915, 0.045] -> zdanie potwierdzone, jeśli wynik >= threshold (0.857)
Para wejściowa: (zdanie odpowiedzi, fragment źródła); fragment jest przycinany do 512 tokenów.
Trening: 4 530 par z 7 polskich ustaw (teksty jednolite, Dz.U.); pozytywy = zdania wynikające z przepisu, negatywy = subtelnie fałszywe twierdzenia napisane przez Bielik-11B, zamienione liczby, zamienione pojęcia, fragment z innego przepisu.
Wyniki:
- 4 ustawy wyłączone z treningu (1 386 par, syntetyczne): AUROC 0,955 (int8), przy progu: zachowuje 90% prawdziwych zdań, przepuszcza 9,5% fałszywych.
- Prawdziwe zdania odpowiedzi Bielika-4.5B (etykiety modelu Gemini, nie ludzi): AUROC 0,77 — realne błędy małych modeli są trudniejsze niż syntetyczne.
- Nie wnioskuje (np. „12 lat ≥ 10 lat → 26 dni” bywa oznaczone jako niepotwierdzone) — w produkcie domyślnie oznacza zdania, a nie je usuwa.
2. Błąd tokenizera Bielika v3 w GGUF i naprawa
Tokenizer HF Bielika v3 to BPE (59 611 reguł scalania, byte_fallback, normalizer dodaje „▁”). Pliki GGUF — zarówno
oficjalne, jak i tworzone przez convert_hf_to_gguf.py — zapisują go jako SentencePiece (llama) bez reguł scalania i z
add_space_prefix=false. llama.cpp scala wtedy według scores, które nie odpowiadają rangom BPE, więc tekst dzielony jest
inaczej niż podczas treningu.
fix_tokenizer.py ustawia score(token) = −ranga reguły BPE i add_space_prefix=true; tensory są kopiowane bez zmian.
python tools/fix_tokenizer.py Bielik-4.5B-v3.0-Instruct.Q8_0.gguf Bielik-4.5B-v3.0-Instruct.Q8_0.fix.gguf tokenizer.json
python tools/check_tokenizer.py llama-tokenize.exe tokenizer.json tekst.txt oryginal.gguf naprawiony.gguf
Wynik check_tokenizer.py (41 zdań Kodeksu pracy, results/tokenizer_check_45.txt; to samo dla 1.5B):
| GGUF | tokenizacje identyczne z HF | liczba tokenów |
|---|---|---|
| oficjalny Bielik-4.5B-v3.0-Instruct Q8_0 | 0/41 | 1134 (+8%) |
| po naprawie (Q6_K) | 41/41 | 1050 |
Wpływ na odpowiedzi (Bielik-4.5B Q8, RAG na 11 ustawach, 60 pytań spoza dokumentów): poprawne odmowy 60% → 87% (pytania realistyczne: 45% → 74%), odsetek udzielonych odpowiedzi bez zmian.
Licencje
Weryfikator: pochodna allegro/herbert-base-cased (CC BY 4.0). Skrypty: MIT. Bielik v3: Apache-2.0 (SpeakLeash / ACK Cyfronet AGH).
Teksty ustaw nie podlegają prawu autorskiemu (art. 4 ustawy o prawie autorskim).
Ograniczenia
Oceny jakości wykonały modele (Gemini, Bielik-11B, Claude), nie prawnicy. Weryfikator trenowany na tekstach prawnych; na innych dziedzinach nie był mierzony.
Model tree for Lindarixon/Linda-Sejf
Base model
allegro/herbert-base-cased