Linda Sejf — weryfikator zdań + naprawa tokenizera Bielika v3 w GGUF

Elementy projektu Linda Sejf — cytuje przepis albo odmawia (Bielik Awards 2026, kategoria SLM): lokalny asystent dokumentów, w którym mały model (domyślnie Gemma-4-E4B, opcjonalnie Bielik-4.5B-v3 z naprawionym tokenizerem) odpowiada z odwołaniami [n] albo odmawia — bramka rerankera odmawia, gdy żaden fragment nie pasuje do pytania — a każde zdanie odpowiedzi jest sprawdzane względem cytowanego fragmentu. Strona projektu, film i demo: https://lindasejf.denmarkeast.cloudapp.azure.com/projekt/

To repozytorium zawiera:

plik co to jest
verifier/model_int8.onnx cross-encoder (HerBERT-base, ONNX int8, 125 MB): „czy zdanie wynika z fragmentu?”
verifier/tokenizer.json, sejf_verifier.json tokenizer i próg decyzji (0,857)
tools/verifier_onnx.py ładowanie bez transformers (tylko onnxruntime + tokenizers)
tools/fix_tokenizer.py naprawa tokenizera w dowolnym GGUF Bielika v3 (wagi bez zmian)
tools/check_tokenizer.py porównanie tokenizacji llama.cpp vs oryginał HF
results/ wyniki pomiarów opisanych niżej

1. Weryfikator zdań

import sys; sys.path.insert(0, "tools")
import verifier_onnx
score, threshold, cfg = verifier_onnx.load("verifier", threads=4)
src = "Pracownikowi przysługuje urlop w wymiarze 26 dni, jeżeli jest zatrudniony co najmniej 10 lat."
print(score([("Pracownik zatrudniony co najmniej 10 lat ma 26 dni urlopu.", src),
             ("Pracownik zatrudniony co najmniej 10 lat ma 20 dni urlopu.", src)]))
# [0.915, 0.045]  -> zdanie potwierdzone, jeśli wynik >= threshold (0.857)

Para wejściowa: (zdanie odpowiedzi, fragment źródła); fragment jest przycinany do 512 tokenów.

Trening: 4 530 par z 7 polskich ustaw (teksty jednolite, Dz.U.); pozytywy = zdania wynikające z przepisu, negatywy = subtelnie fałszywe twierdzenia napisane przez Bielik-11B, zamienione liczby, zamienione pojęcia, fragment z innego przepisu.

Wyniki:

  • 4 ustawy wyłączone z treningu (1 386 par, syntetyczne): AUROC 0,955 (int8), przy progu: zachowuje 90% prawdziwych zdań, przepuszcza 9,5% fałszywych.
  • Prawdziwe zdania odpowiedzi Bielika-4.5B (etykiety modelu Gemini, nie ludzi): AUROC 0,77 — realne błędy małych modeli są trudniejsze niż syntetyczne.
  • Nie wnioskuje (np. „12 lat ≥ 10 lat → 26 dni” bywa oznaczone jako niepotwierdzone) — w produkcie domyślnie oznacza zdania, a nie je usuwa.

2. Błąd tokenizera Bielika v3 w GGUF i naprawa

Tokenizer HF Bielika v3 to BPE (59 611 reguł scalania, byte_fallback, normalizer dodaje „▁”). Pliki GGUF — zarówno oficjalne, jak i tworzone przez convert_hf_to_gguf.py — zapisują go jako SentencePiece (llama) bez reguł scalania i z add_space_prefix=false. llama.cpp scala wtedy według scores, które nie odpowiadają rangom BPE, więc tekst dzielony jest inaczej niż podczas treningu.

fix_tokenizer.py ustawia score(token) = −ranga reguły BPE i add_space_prefix=true; tensory są kopiowane bez zmian.

python tools/fix_tokenizer.py Bielik-4.5B-v3.0-Instruct.Q8_0.gguf Bielik-4.5B-v3.0-Instruct.Q8_0.fix.gguf tokenizer.json
python tools/check_tokenizer.py llama-tokenize.exe tokenizer.json tekst.txt oryginal.gguf naprawiony.gguf

Wynik check_tokenizer.py (41 zdań Kodeksu pracy, results/tokenizer_check_45.txt; to samo dla 1.5B):

GGUF tokenizacje identyczne z HF liczba tokenów
oficjalny Bielik-4.5B-v3.0-Instruct Q8_0 0/41 1134 (+8%)
po naprawie (Q6_K) 41/41 1050

Wpływ na odpowiedzi (Bielik-4.5B Q8, RAG na 11 ustawach, 60 pytań spoza dokumentów): poprawne odmowy 60% → 87% (pytania realistyczne: 45% → 74%), odsetek udzielonych odpowiedzi bez zmian.

Licencje

Weryfikator: pochodna allegro/herbert-base-cased (CC BY 4.0). Skrypty: MIT. Bielik v3: Apache-2.0 (SpeakLeash / ACK Cyfronet AGH). Teksty ustaw nie podlegają prawu autorskiemu (art. 4 ustawy o prawie autorskim).

Ograniczenia

Oceny jakości wykonały modele (Gemini, Bielik-11B, Claude), nie prawnicy. Weryfikator trenowany na tekstach prawnych; na innych dziedzinach nie był mierzony.

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Lindarixon/Linda-Sejf

Quantized
(2)
this model