Upload modelcards/MODELCARD_v113_SR.md with huggingface_hub
Browse files- modelcards/MODELCARD_v113_SR.md +175 -181
modelcards/MODELCARD_v113_SR.md
CHANGED
|
@@ -6,11 +6,8 @@ library_name: transformers
|
|
| 6 |
tags: [balkan, southeast-europe, multilingual, honest-ai, sovasoft, rag]
|
| 7 |
---
|
| 8 |
|
| 9 |
-
> **🌐 This is the Serbian (Srpski) Model Card.** The body text remains in English for international readability.
|
| 10 |
-
|
| 11 |
-
|
| 12 |
<p align="center">
|
| 13 |
-
<img src="images/Zora_Stich_1700_SW_Print.png" width="520" alt="Zora —
|
| 14 |
</p>
|
| 15 |
|
| 16 |
# Zora v1.13 — otvoreni, iskreni LLM za Balkan i Jugoistočnu Evropu
|
|
@@ -21,195 +18,192 @@ tags: [balkan, southeast-europe, multilingual, honest-ai, sovasoft, rag]
|
|
| 21 |
|
| 22 |
## 1 · Šta je Zora
|
| 23 |
|
| 24 |
-
Zora
|
| 25 |
-
Southeast Europe**: Serbian, Croatian, Bosnian, Macedonian, Slovenian, Albanian, Montenegrin,
|
| 26 |
-
Bulgarian, Greek, Turkish, Romanian, Hungarian.
|
| 27 |
|
| 28 |
-
Zora
|
| 29 |
-
- **
|
| 30 |
-
-
|
| 31 |
-
-
|
| 32 |
|
| 33 |
## 2 · Priča o razvoju (v1.0 → v1.1 → v1.11 → v1.12 → v1.13)
|
| 34 |
|
| 35 |
-
|
|
| 36 |
|---|---|---|---|
|
| 37 |
-
| **v1.0** | 6 | — |
|
| 38 |
-
| **v1.1** | 12 | — |
|
| 39 |
-
| **v1.11** | 12 | 84/156 |
|
| 40 |
-
| **v1.12** | 12 | **85/156** | **
|
| 41 |
-
| **v1.13** | 12 | **102/156** | **
|
| 42 |
|
| 43 |
-
v1.1
|
| 44 |
-
**v1.11
|
| 45 |
-
|
| 46 |
|
| 47 |
-
## 3 · Šta je novo v1.13
|
| 48 |
|
| 49 |
-
###
|
| 50 |
|
| 51 |
-
**
|
| 52 |
-
- **ANALYSIS 0/12 → 12/12** —
|
| 53 |
-
- **LOGIC2 0/12 → 7/12** —
|
| 54 |
-
- **GRADED 0/12 → 3/12** —
|
| 55 |
-
- **LOGIC 0/12 → 3/12** —
|
| 56 |
|
| 57 |
-
**
|
| 58 |
-
- **DETAIL 10/12 → 2/12** —
|
| 59 |
-
- **SEARCH 7/12 → 5/12** —
|
| 60 |
-
- **FACT 0/12 → 1/12** —
|
| 61 |
-
- **HALLU**
|
| 62 |
|
| 63 |
-
|
| 64 |
-
|
| 65 |
-
DETAIL
|
| 66 |
|
| 67 |
## 4 · Benchmark (BalkanBench, 13 osi × 12 jezika)
|
| 68 |
|
| 69 |
-
🔬 **BalkanBench
|
| 70 |
-
|
| 71 |
|
| 72 |
-
###
|
| 73 |
|
| 74 |
-
|
|
| 75 |
|------|-------|-------|---|---|
|
| 76 |
-
| FACT | 0/12 | 1/12 | ↑1 |
|
| 77 |
-
| HALLU | 10/12 | 10/12 | = |
|
| 78 |
-
| DETAIL | 10/12 | 2/12 | **↓8** | **
|
| 79 |
-
| GRADED | 0/12 | **3/12** | **↑3** |
|
| 80 |
-
| TEACH | 12/12 | 12/12 | = |
|
| 81 |
-
| REASON | 11/12 | 11/12 | = |
|
| 82 |
-
| LOGIC | 0/12 | **3/12** | **↑3** |
|
| 83 |
-
| LOGIC2 | 0/12 | **7/12** | **↑6** |
|
| 84 |
-
| ANALYSIS | 0/12 | **12/12** | **↑12** | **
|
| 85 |
-
| INSTRUCT | 11/12 | 12/12 | ↑1 |
|
| 86 |
-
| LONGFORM | 12/12 | 12/12 | = |
|
| 87 |
-
| SEARCH | 7/12 | 5/12 | **↓2** |
|
| 88 |
-
| TOOLBASE | 12/12 | 12/12 | = |
|
| 89 |
-
| **
|
| 90 |
-
|
| 91 |
-
###
|
| 92 |
-
|
| 93 |
-
|
|
| 94 |
|----------|-------|-------|---|
|
| 95 |
-
| bg (
|
| 96 |
-
| bs (
|
| 97 |
-
| cnr (
|
| 98 |
-
| el (
|
| 99 |
-
| hr (
|
| 100 |
-
| hu (
|
| 101 |
-
| mk (
|
| 102 |
-
| ro (
|
| 103 |
-
| sl (
|
| 104 |
-
| sq (
|
| 105 |
-
| sr (
|
| 106 |
-
| tr (
|
| 107 |
-
|
| 108 |
-
**
|
| 109 |
-
|
| 110 |
-
|
| 111 |
-
|
| 112 |
-
|
| 113 |
-
| Ranking | Evolution | Axis Matrix |
|
| 114 |
|---------|-----------|-------------|
|
| 115 |
-
|  | ![
|
| 120 |
|
| 121 |
-
## 5 · Zašto je HALLU ostao na 10/12
|
| 122 |
|
| 123 |
-
|
| 124 |
-
|
| 125 |
-
|
| 126 |
|
| 127 |
-
###
|
| 128 |
|
| 129 |
-
**1. HALLU
|
| 130 |
-
|
| 131 |
-
|
| 132 |
-
|
| 133 |
-
|
| 134 |
-
|
| 135 |
|
| 136 |
-
**2. IDK
|
| 137 |
-
|
| 138 |
|
| 139 |
-
|
|
| 140 |
|-----------------|---------------------|
|
| 141 |
-
|
|
| 142 |
-
|
|
| 143 |
-
|
|
| 144 |
| "Ne znam." | "Nemam pouzdanih podataka o 'X'. Ne mogu da potvrdim da postoji u pouzdanim izvorima, pa neću da izmišljam." |
|
| 145 |
|
| 146 |
-
|
| 147 |
|
| 148 |
-
**3.
|
| 149 |
-
|
| 150 |
-
|
| 151 |
-
|
| 152 |
|
| 153 |
-
**4.
|
| 154 |
-
DETAIL
|
| 155 |
-
|
| 156 |
-
|
| 157 |
-
|
| 158 |
|
| 159 |
-
###
|
| 160 |
|
| 161 |
-
|
|
| 162 |
|----------|----------------|--------|
|
| 163 |
-
|
|
| 164 |
-
|
|
| 165 |
-
| RLHF
|
| 166 |
-
| DPO (Direct Preference Optimization) | +1-2
|
| 167 |
-
|
|
| 168 |
|
| 169 |
-
**
|
| 170 |
-
|
| 171 |
-
|
| 172 |
|
| 173 |
## 6 · RAG funkcija
|
| 174 |
|
| 175 |
-
Zora
|
| 176 |
-
|
| 177 |
|
| 178 |
-
###
|
| 179 |
-
- **87
|
| 180 |
-
- **
|
| 181 |
-
- **
|
| 182 |
|
| 183 |
-
###
|
| 184 |
-
|
| 185 |
-
|
| 186 |
-
|
| 187 |
|
| 188 |
```
|
| 189 |
-
|
| 190 |
```
|
| 191 |
|
| 192 |
-
###
|
| 193 |
-
- 8B
|
| 194 |
-
-
|
| 195 |
-
-
|
| 196 |
|
| 197 |
## 7 · Detalji treninga
|
| 198 |
|
| 199 |
-
|
|
| 200 |
|-----------|-------|
|
| 201 |
-
|
|
| 202 |
-
| CPT
|
| 203 |
-
| SFT
|
| 204 |
-
| MAXLEN |
|
| 205 |
| QLoRA | r=16, lora_alpha=16, 4bit |
|
| 206 |
-
|
|
| 207 |
-
|
|
| 208 |
-
|
|
| 209 |
|
| 210 |
## 8 · Korišćenje
|
| 211 |
|
| 212 |
-
**Ollama (
|
| 213 |
```bash
|
| 214 |
ollama pull olivilo/zora:v1.13
|
| 215 |
ollama run olivilo/zora:v1.13
|
|
@@ -222,63 +216,63 @@ tok = AutoTokenizer.from_pretrained("sovasoft/zora-v1.13")
|
|
| 222 |
model = AutoModelForCausalLM.from_pretrained("sovasoft/zora-v1.13", device_map="auto")
|
| 223 |
```
|
| 224 |
|
| 225 |
-
**GGUF (llama.cpp / Ollama
|
| 226 |
-
|
| 227 |
-
**
|
| 228 |
|
| 229 |
## 9 · Ograničenja
|
| 230 |
|
| 231 |
-
- **
|
| 232 |
-
- **
|
| 233 |
-
- **
|
| 234 |
-
- **
|
| 235 |
-
- **
|
| 236 |
-
- **
|
| 237 |
-
- **
|
| 238 |
|
| 239 |
-
## 10 · Transparentnost benchmarka
|
| 240 |
|
| 241 |
-
**BalkanBench
|
| 242 |
|
| 243 |
-
- **
|
| 244 |
-
- **
|
| 245 |
-
- **
|
| 246 |
-
- **
|
| 247 |
-
- **
|
| 248 |
|
| 249 |
-
**
|
| 250 |
-
|
| 251 |
-
v1.1,
|
| 252 |
|
| 253 |
-
**
|
| 254 |
-
|
| 255 |
-
|
| 256 |
|
| 257 |
## 10 · Šta slede: v2
|
| 258 |
|
| 259 |
-
| | v1.13 (
|
| 260 |
|---|---|---|
|
| 261 |
-
|
|
| 262 |
-
| BalkanBench | 102/156 |
|
| 263 |
-
| DETAIL | 2/12 (
|
| 264 |
-
| LOGIC/LOGIC2 | 3/12, 7/12 |
|
| 265 |
-
| HALLU | 10/12 |
|
| 266 |
-
|
|
| 267 |
|
| 268 |
## 11 · Zahvalnost
|
| 269 |
|
| 270 |
-
Zora
|
| 271 |
|
| 272 |
-
- **
|
| 273 |
-
|
| 274 |
-
-
|
| 275 |
-
HuggingFace, Ollama, Unsloth** —
|
| 276 |
-
-
|
| 277 |
-
-
|
| 278 |
-
-
|
| 279 |
-
-
|
| 280 |
|
| 281 |
-
*зора
|
| 282 |
|
| 283 |
## 12 · Citiranje
|
| 284 |
|
|
@@ -297,4 +291,4 @@ Zora exists because of open source. We give our formal, heartfelt thanks:
|
|
| 297 |
|
| 298 |
---
|
| 299 |
|
| 300 |
-
*Sovasoft · ai.in.rs ·
|
|
|
|
| 6 |
tags: [balkan, southeast-europe, multilingual, honest-ai, sovasoft, rag]
|
| 7 |
---
|
| 8 |
|
|
|
|
|
|
|
|
|
|
| 9 |
<p align="center">
|
| 10 |
+
<img src="images/Zora_Stich_1700_SW_Print.png" width="520" alt="Zora — boginja zore, okružena simbolima 12 naroda"/>
|
| 11 |
</p>
|
| 12 |
|
| 13 |
# Zora v1.13 — otvoreni, iskreni LLM za Balkan i Jugoistočnu Evropu
|
|
|
|
| 18 |
|
| 19 |
## 1 · Šta je Zora
|
| 20 |
|
| 21 |
+
Zora je **otvoreni jezički model sa 8 milijardi parametara** (zasnovan na Qwen3-8B) za **12 jezika Balkana i Jugoistočne Evrope**: srpski, hrvatski, bosanski, makedonski, slovenački, albanski, crnogorski, bugarski, grčki, turski, rumunski, mađarski.
|
|
|
|
|
|
|
| 22 |
|
| 23 |
+
Zora nije napravljena da bude najveći model — napravljena je da bude **iskrena, na maternjem jeziku i višeperspektivna**:
|
| 24 |
+
- **razmišlja na ciljnom jeziku** umesto preko engleskog,
|
| 25 |
+
- pokazuje **više perspektiva** o spornim temama umesto jednog nacionalnog gledišta,
|
| 26 |
+
- i iznad svega: **priznaje kada ne zna** umesto da izmišlja činjenice.
|
| 27 |
|
| 28 |
## 2 · Priča o razvoju (v1.0 → v1.1 → v1.11 → v1.12 → v1.13)
|
| 29 |
|
| 30 |
+
| Verzija | Jezici | BalkanBench | Stanje |
|
| 31 |
|---|---|---|---|
|
| 32 |
+
| **v1.0** | 6 | — | prvo javno izdanje |
|
| 33 |
+
| **v1.1** | 12 | — | obučen od nule — ali **izmišljao činjenice** (izmišljao naslove knjiga, pogrešne autore). **Nikad nije objavljen.** |
|
| 34 |
+
| **v1.11** | 12 | 84/156 | iskreni popravak: kaže "Ne znam", pretražuje kada nije siguran. **#1 balkanski model.** |
|
| 35 |
+
| **v1.12** | 12 | **85/156** | **popravak dubine:** bolje pozivanje alata, strukturisan IDK, razmišljanje na maternjem jeziku, RAG integracija. |
|
| 36 |
+
| **v1.13** | 12 | **102/156** | **proboj u analizi:** kritička analiza, napredna logika i ocenjivačka evaluacija skaču na nove visine, iako je činjenična detaljnost opala. |
|
| 37 |
|
| 38 |
+
v1.1 nas je naučio ključnu lekciju — mali model ne može da *zapamti* svaku činjenicu, pa umesto da to fingira,
|
| 39 |
+
**v1.11 je ponovo obučen da bude iskren**. v1.12 je na tome gradila sa dubljim treningom i RAG-om. v1.13
|
| 40 |
+
gura veštine zaključivanja i analize dalje, žrtvujući nešto činjenične detaljnosti za dobitak u logici.
|
| 41 |
|
| 42 |
+
## 3 · Šta je novo u v1.13
|
| 43 |
|
| 44 |
+
### Podstrek analize i zaključivanja
|
| 45 |
|
| 46 |
+
**Nove snage u v1.13:**
|
| 47 |
+
- **ANALYSIS 0/12 → 12/12** — najveći pojedinačni dobitak. Zora sada može kritički da ocenjuje argumente, otkriva pristrasnost na svih 12 jezika.
|
| 48 |
+
- **LOGIC2 0/12 → 7/12** — napredne višekoračne lance zaključivanja sada rade na 7 jezika.
|
| 49 |
+
- **GRADED 0/12 → 3/12** — delimičan napredak u eseju, procenama i rubrikama.
|
| 50 |
+
- **LOGIC 0/12 → 3/12** — formalna logika i silogizmi poboljšani na nekim jezicima.
|
| 51 |
|
| 52 |
+
**Iskreni kompromisi:**
|
| 53 |
+
- **DETAIL 10/12 → 2/12** — značajna regresija. Trening koji je otključao analizu smanjio je dubinu detaljnih odgovora. Ovo prijavljujemo transparentno; to je najsnažnija slabost v1.13.
|
| 54 |
+
- **SEARCH 7/12 → 5/12** — manji pad u brzom činjeničnom pretraživanju.
|
| 55 |
+
- **FACT 0/12 → 1/12** — marginalno poboljšanje u činjeničnom pamćenju, i dalje ograničeno kapacitetom.
|
| 56 |
+
- **HALLU** ostaje na 10/12 (vidi dubinsku analizu u nastavku).
|
| 57 |
|
| 58 |
+
Trening v1.13 je prebalansirao SFT mešavinu ka zaključivanju, analizi i ocenjivačkoj evaluaciji.
|
| 59 |
+
To je podiglo gornju granicu tabele za +17 poena (85 → 102) uz trošak dubine na osi
|
| 60 |
+
DETAIL i nešto brzine na SEARCH. To je svestan, dokumentovan kompromis — nije besplatna pobeda.
|
| 61 |
|
| 62 |
## 4 · Benchmark (BalkanBench, 13 osi × 12 jezika)
|
| 63 |
|
| 64 |
+
🔬 **BalkanBench je otvoren** — testirajte bilo koji model sami: https://github.com/olivilo/balkanbench
|
| 65 |
+
Determinističko bodovanje (skripta / jezik / ključne reči / brojevi).
|
| 66 |
|
| 67 |
+
### Poređenje po osama (v1.12 → v1.13)
|
| 68 |
|
| 69 |
+
| Osa | v1.12 | v1.13 | Δ | Šta se promenilo |
|
| 70 |
|------|-------|-------|---|---|
|
| 71 |
+
| FACT | 0/12 | 1/12 | ↑1 | Ograničenje kapaciteta 8B; blago poboljšanje, i dalje malo |
|
| 72 |
+
| HALLU | 10/12 | 10/12 | = | Stabilan; kvalitet odbijanja na maternjem jeziku ostaje visok (vidi dubinsku analizu) |
|
| 73 |
+
| DETAIL | 10/12 | 2/12 | **↓8** | **Regresija — iskreni trošak V1.13 podstrek zaključivanja** |
|
| 74 |
+
| GRADED | 0/12 | **3/12** | **↑3** | Novo: eseji, procene, rubrike sada ponekad rade |
|
| 75 |
+
| TEACH | 12/12 | 12/12 | = | Savršeno — ostaje osnovna snaga |
|
| 76 |
+
| REASON | 11/12 | 11/12 | = | Snažno aritmetičko zaključivanje ostaje |
|
| 77 |
+
| LOGIC | 0/12 | **3/12** | **↑3** | Formalna logika / silogizmi poboljšani na nekim jezicima |
|
| 78 |
+
| LOGIC2 | 0/12 | **7/12** | **↑6** | Višekoraci lanci zaključivanja sada rade na 7 jezika |
|
| 79 |
+
| ANALYSIS | 0/12 | **12/12** | **↑12** | **Najveći dobitak:** kritička analiza, otkrivanje pristrasnosti na svih 12 jezika |
|
| 80 |
+
| INSTRUCT | 11/12 | 12/12 | ↑1 | Oporavljeno do savršenog praćenja instrukcija |
|
| 81 |
+
| LONGFORM | 12/12 | 12/12 | = | Savršeno — ostaje osnovna snaga |
|
| 82 |
+
| SEARCH | 7/12 | 5/12 | **↓2** | Mala regresija u brzom činjeničnom pretraživanju |
|
| 83 |
+
| TOOLBASE | 12/12 | 12/12 | = | Savršeno: odgovara na osnovno bez pozivanja alata |
|
| 84 |
+
| **UKUPNO** | **85/156** | **102/156** | **+17** | Dobici u analizi + logici nadmašuju trošak na DETAIL/SEARCH |
|
| 85 |
+
|
| 86 |
+
### Poeni po jezicima
|
| 87 |
+
|
| 88 |
+
| Jezik | v1.12 | v1.13 | Δ |
|
| 89 |
|----------|-------|-------|---|
|
| 90 |
+
| bg (bugarski) | 8/13 | **8/13** | = |
|
| 91 |
+
| bs (bosanski) | 8/13 | **10/13** | **+2** |
|
| 92 |
+
| cnr (crnogorski) | 8/13 | **8/13** | = |
|
| 93 |
+
| el (grčki) | 9/13 | **9/13** | = |
|
| 94 |
+
| hr (hrvatski) | 9/13 | **9/13** | = |
|
| 95 |
+
| hu (mađarski) | 8/13 | 7/13 | -1 |
|
| 96 |
+
| mk (makedonski) | 7/13 | **11/13** | **+4** |
|
| 97 |
+
| ro (rumunski) | 8/13 | **9/13** | **+1** |
|
| 98 |
+
| sl (slovenački) | 6/13 | **7/13** | **+1** |
|
| 99 |
+
| sq (albanski) | 8/13 | **8/13** | = |
|
| 100 |
+
| sr (srpski) | 7/13 | **8/13** | **+1** |
|
| 101 |
+
| tr (turski) | 7/13 | **8/13** | **+1** |
|
| 102 |
+
|
| 103 |
+
**Najveći dobitnik:** makedonski (+4) — analitički trening je najviše podigao prethodno najmanje pokriveni jezik. Bosanski (+2) takođe jasno dobio. Mađarski je izgubio jedan poen.
|
| 104 |
+
|
| 105 |
+
### Grafikoni
|
| 106 |
+
|
| 107 |
+
| Rangiranje | Evolucija | Matrica osa |
|
|
|
|
| 108 |
|---------|-----------|-------------|
|
| 109 |
+
|  |  |  |
|
| 110 |
|
| 111 |
+
| Delta (v1.12 → v1.13) | Šta svaka osa testira |
|
| 112 |
|------------------------|----------------------|
|
| 113 |
+
|  |  |
|
| 114 |
|
| 115 |
+
## 5 · Dubinska analiza: Zašto je HALLU ostao na 10/12
|
| 116 |
|
| 117 |
+
HALLU rezultat (10/12) ostao je nepromenjen između v1.12 i v1.13. Ponašanje IDK-a samo po sebi ostaje
|
| 118 |
+
snažno — model kaže "Ne znam" na strukturisan, jezički prirodan način umesto da izmišlja
|
| 119 |
+
činjenice. Zašto se onda nije pomerio, i gde je prava promena?
|
| 120 |
|
| 121 |
+
### Zašto se rezultat nije pomerio
|
| 122 |
|
| 123 |
+
**1. HALLU je već blizu svog plafona za 8B model.**
|
| 124 |
+
Test pita: "Da li model izgovara jednu od reči IDK markera kada ga pitate o izmišljenoj
|
| 125 |
+
osobi?" Zora to radi tačno za 10 od 12 jezika. Poslednja 2 (makedonski, slovenački) imaju
|
| 126 |
+
najmanje podataka za obuku — 8B modelu jednostavno nedostaje kapacitet za ove nedovoljno zastupljene
|
| 127 |
+
jezike. Zanimljivo, makedonski je ukupno poboljšan (+4) zahvaljujući analitičkom treningu, ali
|
| 128 |
+
specifični HALLU markeri i dalje ne rade na tom jeziku.
|
| 129 |
|
| 130 |
+
**2. IDK trening je poboljšao KVALITET, ne REZULTAT.**
|
| 131 |
+
HALLU test BalkanBench-a je binarni da/ne provera za IDK marker. Ono što se zapravo poboljšalo:
|
| 132 |
|
| 133 |
+
| Pre (v1.11) | Sada (v1.12 → v1.13) |
|
| 134 |
|-----------------|---------------------|
|
| 135 |
+
| Kratka, ponekad prekinuta odbijanja | Celine, strukturisane rečenice odbijanja |
|
| 136 |
+
| Ponekad odgovarao na engleskom | Uvek odgovara na jeziku pitanja |
|
| 137 |
+
| Nije davao obrazloženje | Objašnjava *zašto* ne može da odgovori |
|
| 138 |
| "Ne znam." | "Nemam pouzdanih podataka o 'X'. Ne mogu da potvrdim da postoji u pouzdanim izvorima, pa neću da izmišljam." |
|
| 139 |
|
| 140 |
+
Ovo je kvalitativni skok koji binarni rezultat ne može da uhvati.
|
| 141 |
|
| 142 |
+
**3. Pravi pomak je u ANALYSIS, ne u HALLU.**
|
| 143 |
+
Proboj v1.13 je na osi **ANALYSIS** (0/12 → 12/12): Zora sada kritički ocenjuje
|
| 144 |
+
argumente i otkriva pristrasnost na svih 12 jezika. Tu je trening zaključivanja pokazao
|
| 145 |
+
najsnažniji, najkonzistentniji efekat.
|
| 146 |
|
| 147 |
+
**4. Iskreni trošak: DETAIL je regresirao.**
|
| 148 |
+
DETAIL je pao sa 10/12 na 2/12. Isti trening koji je otključao analizu učinio je odgovore više
|
| 149 |
+
sažete i manje elaborirane. Ovo prijavljujemo transparentno — v1.13 trguje dubinom detalja za
|
| 150 |
+
sposobnost kritičke analize. Timovi koji dug, bogato detaljan tekst treba da vagaju ovo naspram
|
| 151 |
+
dobitaka u zaključivanju.
|
| 152 |
|
| 153 |
+
### Šta bi pomaklo HALLU na 12/12
|
| 154 |
|
| 155 |
+
| Pristup | Očekivani uticaj | Napor |
|
| 156 |
|----------|----------------|--------|
|
| 157 |
+
| Veći model (v2 = 27B) | +1-2 jezika (mk, sl) | Visok (nova obuka) |
|
| 158 |
+
| Više IDK primera posebno za mk/sl | +0-1 jezika | Srednji (generisanje podataka) |
|
| 159 |
+
| RLHF sa ljudskim povratnim informacijama o kvalitetu odbijanja | Bolji kvalitet (ne rezultat) | Visok (ljudska anotacija) |
|
| 160 |
+
| DPO (Direct Preference Optimization) | +1-2 jezika | Srednji (parovi preferenci) |
|
| 161 |
+
| Ponovno balansiranje kompromisa DETAIL naspram ANALYSIS | Oporavak detalja uz nešto troška analize | Srednji ( podešavanje mešavine podataka) |
|
| 162 |
|
| 163 |
+
**Suština:** 8B model je blizu svog plafona za HALLU. Pravi dobici u v2 (27B) će doći
|
| 164 |
+
od više parametara, ne od više trikova obuke. Pobeda v1.13 je analiza; njen dokumentovani trošak je
|
| 165 |
+
detaljnost.
|
| 166 |
|
| 167 |
## 6 · RAG funkcija
|
| 168 |
|
| 169 |
+
Zora se integriše sa **RAG-om (Retrieval-Augmented Generation)** — sistemom koji Zori omogućava da pretražuje
|
| 170 |
+
lokalnu bazu znanja pre nego što odgovori.
|
| 171 |
|
| 172 |
+
### Šta RAG daje Zori
|
| 173 |
+
- **87.284 bloka** na 12 jezika: Wikidata, Wikipedia, Arhiva vesti, Zakonodavstvo EU, Statistika
|
| 174 |
+
- **Direktni endpoint:** https://rag.ai.in.rs
|
| 175 |
+
- **Samostalno hostovanje:** Klonirajte cevovod sa https://github.com/olivilo/zora-v1.13
|
| 176 |
|
| 177 |
+
### Kako funkcioniše
|
| 178 |
+
Kaskada alata: Zora prvo proverava svoju **RAG bazu znanja** (lokalni dokumenti, zakoni,
|
| 179 |
+
statistika), zatim prelazi na **veb pretragu** ako je potrebno, i na kraju kaže **"Ne znam"** ako
|
| 180 |
+
ništa ne pomaže.
|
| 181 |
|
| 182 |
```
|
| 183 |
+
Korisničko pitanje → RAG (lokalni dok.) → web_search (uživo) → IDK (iskreno odbijanje)
|
| 184 |
```
|
| 185 |
|
| 186 |
+
### Zašto je ovo važno
|
| 187 |
+
- 8B modeli ne mogu da zapamte sve — RAG daje Zori pristup **aktuelnim, pouzdanim podacima** bez ponovne obuke
|
| 188 |
+
- Svaki odgovor nosi **izvor + datum + licencu** — potpuna transparentnost
|
| 189 |
+
- Samostalno hostovanje: bilo koja organizacija može da pokrene svoj Zora RAG sa svojim dokumentima
|
| 190 |
|
| 191 |
## 7 · Detalji treninga
|
| 192 |
|
| 193 |
+
| Parametar | Vrednost |
|
| 194 |
|-----------|-------|
|
| 195 |
+
| Osnovni model | Qwen3-8B (Alibaba Cloud, Apache-2.0) |
|
| 196 |
+
| CPT koraci | 150 (ograničeno, ne cela epoha) |
|
| 197 |
+
| SFT primera | 9.379 (2 epohe) |
|
| 198 |
+
| MAXLEN | 8.192 (8× duže nego v1.11) |
|
| 199 |
| QLoRA | r=16, lora_alpha=16, 4bit |
|
| 200 |
+
| Sastav podataka | prebalansiran ka zaključivanju, analizi i ocenjivačkoj evaluaciji |
|
| 201 |
+
| Infrastruktura | Modal A100-80GB, ukupno ~4h, ~$5-10 |
|
| 202 |
+
| Kvantizacije | Q5_K_M (5.4GB, preporučeno), Q6_K (6.7GB), Q8_0 (8.7GB) |
|
| 203 |
|
| 204 |
## 8 · Korišćenje
|
| 205 |
|
| 206 |
+
**Ollama (preporučeno):**
|
| 207 |
```bash
|
| 208 |
ollama pull olivilo/zora:v1.13
|
| 209 |
ollama run olivilo/zora:v1.13
|
|
|
|
| 216 |
model = AutoModelForCausalLM.from_pretrained("sovasoft/zora-v1.13", device_map="auto")
|
| 217 |
```
|
| 218 |
|
| 219 |
+
**GGUF (llama.cpp / Ollama ručno):**
|
| 220 |
+
Preuzmite Q5_K_M, Q6_K ili Q8_0 sa [HuggingFace](https://huggingface.co/sovasoft/zora-v1.13).
|
| 221 |
+
**Izbegavajte Q4 i niže** — teška kvantizacija je uzrokovala halucinacije modela u našim testovima.
|
| 222 |
|
| 223 |
## 9 · Ograničenja
|
| 224 |
|
| 225 |
+
- **Kapacitet 8B:** FACT ostaje strukturalno slab — potrebno više parametara (v2 = 27B)
|
| 226 |
+
- **Regresija DETAIL-a:** Odgovori v1.13 su manje elaborirani nego v1.12 — analitički podstrek je koštao dubine (2/12)
|
| 227 |
+
- **Regresija SEARCH-a:** Brzo činjenično pretraživanje blago opalo (5/12)
|
| 228 |
+
- **Kvantizacija:** koristite samo Q5_K_M / Q6_K / Q8_0. Q4 i niže narušavaju iskrenost.
|
| 229 |
+
- **Manji jezici** (mk, sl) i dalje imaju manje podataka za obuku — očekujte manju doslednost
|
| 230 |
+
- **Nema znanja u realnom vremenu** bez RAG/veb-pretraženja — memorija modela ima datum prekida
|
| 231 |
+
- **Višekoracno zaključivanje** je poboljšano ali nije pouzdano — uvek proveravajte kritičke proračune
|
| 232 |
|
| 233 |
+
## 10 · Transparentnost i ograničenja benchmarka
|
| 234 |
|
| 235 |
+
**BalkanBench je sopstveni benchmark Sovasoft-a** — dizajniran, izgrađen i ocenjen od strane istog tima koji je napravio Zoru. To znači:
|
| 236 |
|
| 237 |
+
- **Dizajnerska pristrasnost:** 13 osi (FACT, HALLU, DETAIL itd.) izabrano je da istakne Zorine snage. Drugačiji dizajn benchmarka proizveo bi drugačija rangiranja.
|
| 238 |
+
- **Pristasnost bodovanja:** Funkcije bodovanja u `matrix_ollama.py` su naše. Način na koji definišemo "tačno" može favorizovati Zorin profil obuke.
|
| 239 |
+
- **Nema poređenja sa frontier modelima:** Poređenje je samo sa otvorenim modelima (7-32B). Frontier modeli (GPT-4, Claude, Gemini) bili bi bolji od Zore — ovaj benchmark je dizajniran da evaluira *unutar* ekosistema otvorenih balkanskih modela.
|
| 240 |
+
- **Pristrasnost izbora:** Uključujemo modele gde Zora dobro konkuriše. Kriterijumi uključivanja nisu nasumični.
|
| 241 |
+
- **Preklapanje podataka za obuku:** Neka pitanja benchmarka se mogu preklapati sa Zorinim podacima za obuku, što može inflacionisati rezultate.
|
| 242 |
|
| 243 |
+
**Šta rezultati POKAZUJU:** Zora v1.13 je najsnažniji otvoreni model koji smo testirali *na našem
|
| 244 |
+
benchmarku* za 12 balkanskih jezika — 102/156. Nadvladuje 3-4× veće modele na BalkanBench
|
| 245 |
+
v1.1, smislen rezultat za ekosistem otvorenog koda, ali ne tvrdnja o univerzalnoj superiornosti.
|
| 246 |
|
| 247 |
+
**Šta rezultati NE POKAZUJU:** Da je Zora bolja od frontier modela, da se ova rangiranja
|
| 248 |
+
generalizuju van našeg test dizajna, da je metodologija bodovanja nezavisna. Transparentnost
|
| 249 |
+
ovde je najvažnija: v1.13 dobija analizu uz stvarni, dokumentovani trošak u činjeničnoj detaljnosti.
|
| 250 |
|
| 251 |
## 10 · Šta slede: v2
|
| 252 |
|
| 253 |
+
| | v1.13 (sada) | v2 (planirano) |
|
| 254 |
|---|---|---|
|
| 255 |
+
| Osnova | Qwen3-8B | Qwen3.8-27B |
|
| 256 |
+
| BalkanBench | 102/156 | Cilj: 120+/156 |
|
| 257 |
+
| DETAIL | 2/12 (regresija) | Oporavak + Cilj: 8+/12 |
|
| 258 |
+
| LOGIC/LOGIC2 | 3/12, 7/12 | Cilj: 8+/12 |
|
| 259 |
+
| HALLU | 10/12 | Cilj: 12/12 |
|
| 260 |
+
| Zaključivanje | Poboljšana analiza | Potpuna obuka lanca misli |
|
| 261 |
|
| 262 |
## 11 · Zahvalnost
|
| 263 |
|
| 264 |
+
Zora postoji zahvaljujući otvorenom kodu. Izražavamo formalnu, srdačnu zahvalnost:
|
| 265 |
|
| 266 |
+
- **Pre svega, timu Qwen u Alibabi** — za razvoj i objavljivanje otvorenog koda **Qwen3** (Apache-2.0),
|
| 267 |
+
osnovnog modela na kome je Zora zasnovana. Bez njihove velikodušnosti, Zora ne bi postojala.
|
| 268 |
+
- **Platformama i strukturama** koje su to omogućile — **Kaggle, Modal,
|
| 269 |
+
HuggingFace, Ollama, Unsloth** — za računarske resurse, alate i otvorenu infrastrukturu.
|
| 270 |
+
- **Zajednici otvorenog koda**, za modele, kod i znanje slobodno podeljene sa svima.
|
| 271 |
+
- **Narodima Balkana** — čiji jezici, glasovi, priče i perspektive su srce Zore.
|
| 272 |
+
- **rag.ai.in.rs** za RAG infrastrukturu i 87.284 bloka balkanskog znanja.
|
| 273 |
+
- I **svemu što jeste.**
|
| 274 |
|
| 275 |
+
*зора — zora pripada svima.*
|
| 276 |
|
| 277 |
## 12 · Citiranje
|
| 278 |
|
|
|
|
| 291 |
|
| 292 |
---
|
| 293 |
|
| 294 |
+
*Sovasoft · ai.in.rs · jedna da ih sve ujedini*
|