BH-Vision
Collection
Vizuelni AI za bosanski: slike, dokumenti, OCR, chartovi. Modeli 2B/8B/12B + trening setovi. • 4 items • Updated
Bosanski vizuelni AI, generacija 1, klasa 2B (lagani generalist — startna tačka projekta). Težine ne postoje — ovo je projektna kartica.
| Stavka | Vrijednost |
|---|---|
| Baza | HuggingFaceTB/SmolVLM2-2.2B-Instruct (Apache-2.0, DocVQA ~80, video+slika) |
| Metoda | QLoRA 4-bit, vision-encoder zamrznut prva iteracija |
| Config | smo2b-qlora.yaml |
| Trening podaci | bs-vision-train-v03 (1962 train, split po slici) |
| Eval | held-out bs-vision-ocr-heldout-v01 + proxy XM3600-hr / postocr-sr |
| Baseline | netreniran 2.2B: 37.3% (81/217, cijeli v03-val; OCR jak, chart max/min slab) |
| Pokušaj | Ishod (cijeli v03-val, 217) |
|---|---|
| Baseline (netreniran 2.2B) | 37.3% |
| v1 (frozen encoder, 2 epohe, lr 1.5e-4) | 12.0% — memorizacija |
| v2 (odleđen encoder, 1 epoha, lr 1e-4) | 0.0% — kolaps (repetitivni loop) |
| v3 (frozen, lr 2e-5, r16, 1 epoha) | 46.1% ckpt-30 (final 43.8%) — PRVI MODEL IZNAD BASELINEA 37.3% |
| v4 (isto, 4575 uzoraka 89% chart) | 3.7% — chart-imbalance kolaps, doc 0/123 (odbačen) |
| v5 (isto, 2902 uzorka 50/50) | 34.6% — ispod v3, chart i dalje 24.5% (v3 ostaje) |
| v6 (isto + PlotQA-bs 700, chart 59.7%) | 33.6% — chart zid potvrđen, v3 ostaje |
| v7 (isto + bhas 113 pravih dokumenata) | held-out 24.7% vs v3 23.3% — u šumu, odbijen |
| v8 (isto, synth8 5427) | 5.5% val / 0% held-out — najdublja memorizacija, odbijen |
| v9 (kratki, max 40 koraka, synth7) | 46.5% val / 23.3% held-out — plafon, v3 ostaje |
| v10 (bulk 1933 + synth10 5535, max 70) | 40.6% val / 23.3% held-out — odbijen |
| held-out v01 (73 prava QA, bhas) | baseline 21.9% vs v3 23.3% — synth se ne prenosi |
Detalji: docs/TRAINING.md. Težine se objavljuju tek nakon modela koji ne degradira ispod baselinea.
from transformers import AutoModelForImageTextToText, AutoProcessor
from peft import PeftModel
proc = AutoProcessor.from_pretrained("BH-Language-AI/bh-vision-1-2b")
base = AutoModelForImageTextToText.from_pretrained("HuggingFaceTB/SmolVLM2-2.2B-Instruct")
model = PeftModel.from_pretrained(base, "BH-Language-AI/bh-vision-1-2b")
Zahtijeva transformers==5.22.2, peft==0.21.2 (novije od 5.22 lome SmolVLM2 merge).
Evaluirano na 217 vlastitih val uzoraka (bosanski dokumenti/tabele/chartovi, split po slici).
Held-out bs-vision-ocr-heldout-v01 NIKAD nije korišten u treningu.
bh-vision-{generacija}-{velicina}docs/TRAINING.mdBase model
HuggingFaceTB/SmolLM2-1.7B