Update SL modelcard v1.13 — full translation
Browse files- modelcards/MODELCARD_v113_SL.md +186 -187
modelcards/MODELCARD_v113_SL.md
CHANGED
|
@@ -6,14 +6,14 @@ library_name: transformers
|
|
| 6 |
tags: [balkan, southeast-europe, multilingual, honest-ai, sovasoft, rag]
|
| 7 |
---
|
| 8 |
|
| 9 |
-
> **🌐
|
| 10 |
|
| 11 |
|
| 12 |
<p align="center">
|
| 13 |
-
<img src="images/Zora_Stich_1700_SW_Print.png" width="520" alt="Zora —
|
| 14 |
</p>
|
| 15 |
|
| 16 |
-
# Zora v1.13 —
|
| 17 |
|
| 18 |
*зора = "zora". Ena da jih vse združi.* — **Sovasoft** ([ai.in.rs](https://ai.in.rs))
|
| 19 |
|
|
@@ -21,195 +21,194 @@ tags: [balkan, southeast-europe, multilingual, honest-ai, sovasoft, rag]
|
|
| 21 |
|
| 22 |
## 1 · Kaj je Zora
|
| 23 |
|
| 24 |
-
Zora
|
| 25 |
-
|
| 26 |
-
|
| 27 |
|
| 28 |
-
Zora
|
| 29 |
-
- **
|
| 30 |
-
-
|
| 31 |
-
-
|
| 32 |
|
| 33 |
## 2 · Zgodba razvoja (v1.0 → v1.1 → v1.11 → v1.12 → v1.13)
|
| 34 |
|
| 35 |
-
|
|
| 36 |
|---|---|---|---|
|
| 37 |
-
| **v1.0** | 6 | — |
|
| 38 |
-
| **v1.1** | 12 | — |
|
| 39 |
-
| **v1.11** | 12 | 84/156 |
|
| 40 |
-
| **v1.12** | 12 | **85/156** | **
|
| 41 |
-
| **v1.13** | 12 | **102/156** | **
|
| 42 |
|
| 43 |
-
v1.1
|
| 44 |
-
**v1.11
|
| 45 |
-
|
| 46 |
|
| 47 |
## 3 · Kaj je novega v v1.13
|
| 48 |
|
| 49 |
-
###
|
| 50 |
|
| 51 |
-
**
|
| 52 |
-
- **ANALYSIS 0/12 → 12/12** —
|
| 53 |
-
- **LOGIC2 0/12 → 7/12** —
|
| 54 |
-
- **GRADED 0/12 → 3/12**
|
| 55 |
-
- **LOGIC 0/12 → 3/12** —
|
| 56 |
|
| 57 |
-
**
|
| 58 |
-
- **DETAIL 10/12 → 2/12** —
|
| 59 |
-
- **SEARCH 7/12 → 5/12** —
|
| 60 |
-
- **FACT 0/12 → 1/12** —
|
| 61 |
-
- **HALLU**
|
| 62 |
|
| 63 |
-
|
| 64 |
-
|
| 65 |
-
DETAIL
|
| 66 |
|
| 67 |
-
## 4 · Benchmark (BalkanBench, 13 osi × 12
|
| 68 |
|
| 69 |
-
🔬 **BalkanBench
|
| 70 |
-
|
| 71 |
|
| 72 |
-
###
|
| 73 |
|
| 74 |
-
|
|
| 75 |
|------|-------|-------|---|---|
|
| 76 |
-
| FACT | 0/12 | 1/12 | ↑1 |
|
| 77 |
-
| HALLU | 10/12 | 10/12 | = |
|
| 78 |
-
| DETAIL | 10/12 | 2/12 | **↓8** | **
|
| 79 |
-
| GRADED | 0/12 | **3/12** | **↑3** |
|
| 80 |
-
| TEACH | 12/12 | 12/12 | = |
|
| 81 |
-
| REASON | 11/12 | 11/12 | = |
|
| 82 |
-
| LOGIC | 0/12 | **3/12** | **↑3** |
|
| 83 |
-
| LOGIC2 | 0/12 | **7/12** | **↑6** |
|
| 84 |
-
| ANALYSIS | 0/12 | **12/12** | **↑12** | **
|
| 85 |
-
| INSTRUCT | 11/12 | 12/12 | ↑1 |
|
| 86 |
-
| LONGFORM | 12/12 | 12/12 | = |
|
| 87 |
-
| SEARCH | 7/12 | 5/12 | **↓2** |
|
| 88 |
-
| TOOLBASE | 12/12 | 12/12 | = |
|
| 89 |
-
| **
|
| 90 |
-
|
| 91 |
-
###
|
| 92 |
-
|
| 93 |
-
|
|
| 94 |
|----------|-------|-------|---|
|
| 95 |
-
| bg (
|
| 96 |
-
| bs (
|
| 97 |
-
| cnr (
|
| 98 |
-
| el (
|
| 99 |
-
| hr (
|
| 100 |
-
| hu (
|
| 101 |
-
| mk (
|
| 102 |
-
| ro (
|
| 103 |
-
| sl (
|
| 104 |
-
| sq (
|
| 105 |
-
| sr (
|
| 106 |
-
| tr (
|
| 107 |
-
|
| 108 |
-
**
|
| 109 |
-
|
| 110 |
-
|
| 111 |
-
|
| 112 |
-
|
| 113 |
-
| Ranking | Evolution | Axis Matrix |
|
| 114 |
|---------|-----------|-------------|
|
| 115 |
-
|  | ![
|
| 120 |
|
| 121 |
## 5 · Zakaj je HALLU ostal na 10/12
|
| 122 |
|
| 123 |
-
|
| 124 |
-
|
| 125 |
-
|
| 126 |
|
| 127 |
-
###
|
| 128 |
|
| 129 |
-
**1. HALLU
|
| 130 |
-
|
| 131 |
-
|
| 132 |
-
|
| 133 |
-
|
| 134 |
-
|
| 135 |
|
| 136 |
-
**2. IDK
|
| 137 |
-
|
| 138 |
|
| 139 |
-
|
|
| 140 |
|-----------------|---------------------|
|
| 141 |
-
|
|
| 142 |
-
|
|
| 143 |
-
|
|
| 144 |
-
| "Ne
|
| 145 |
|
| 146 |
-
|
| 147 |
|
| 148 |
-
**3.
|
| 149 |
-
|
| 150 |
-
|
| 151 |
-
|
| 152 |
|
| 153 |
-
**4.
|
| 154 |
-
DETAIL
|
| 155 |
-
|
| 156 |
-
|
| 157 |
-
|
| 158 |
|
| 159 |
-
###
|
| 160 |
|
| 161 |
-
|
|
| 162 |
|----------|----------------|--------|
|
| 163 |
-
|
|
| 164 |
-
|
|
| 165 |
-
| RLHF
|
| 166 |
-
| DPO (Direct Preference Optimization) | +1-2
|
| 167 |
-
|
|
| 168 |
|
| 169 |
-
**
|
| 170 |
-
|
| 171 |
-
|
| 172 |
|
| 173 |
-
## 6 · RAG funkcija
|
| 174 |
|
| 175 |
-
Zora
|
| 176 |
-
|
| 177 |
|
| 178 |
-
###
|
| 179 |
-
- **87,284
|
| 180 |
-
- **
|
| 181 |
-
- **
|
| 182 |
|
| 183 |
-
###
|
| 184 |
-
|
| 185 |
-
|
| 186 |
-
|
| 187 |
|
| 188 |
```
|
| 189 |
-
|
| 190 |
```
|
| 191 |
|
| 192 |
-
###
|
| 193 |
-
- 8B
|
| 194 |
-
-
|
| 195 |
-
-
|
| 196 |
|
| 197 |
## 7 · Podrobnosti usposabljanja
|
| 198 |
|
| 199 |
-
| Parameter |
|
| 200 |
|-----------|-------|
|
| 201 |
-
|
|
| 202 |
-
| CPT
|
| 203 |
-
| SFT
|
| 204 |
-
| MAXLEN | 8192 (8×
|
| 205 |
| QLoRA | r=16, lora_alpha=16, 4bit |
|
| 206 |
-
|
|
| 207 |
-
|
|
| 208 |
-
|
|
| 209 |
|
| 210 |
## 8 · Uporaba
|
| 211 |
|
| 212 |
-
**Ollama (
|
| 213 |
```bash
|
| 214 |
ollama pull olivilo/zora:v1.13
|
| 215 |
ollama run olivilo/zora:v1.13
|
|
@@ -222,65 +221,65 @@ tok = AutoTokenizer.from_pretrained("sovasoft/zora-v1.13")
|
|
| 222 |
model = AutoModelForCausalLM.from_pretrained("sovasoft/zora-v1.13", device_map="auto")
|
| 223 |
```
|
| 224 |
|
| 225 |
-
**GGUF (llama.cpp /
|
| 226 |
-
|
| 227 |
-
**
|
| 228 |
|
| 229 |
## 9 · Omejitve
|
| 230 |
|
| 231 |
-
- **
|
| 232 |
-
- **
|
| 233 |
-
- **
|
| 234 |
-
- **
|
| 235 |
-
- **
|
| 236 |
-
- **
|
| 237 |
-
- **
|
| 238 |
|
| 239 |
-
## 10 · Transparentnost primerjalnika
|
| 240 |
|
| 241 |
-
**BalkanBench
|
| 242 |
|
| 243 |
-
- **
|
| 244 |
-
- **
|
| 245 |
-
- **
|
| 246 |
-
- **
|
| 247 |
-
- **
|
| 248 |
|
| 249 |
-
**
|
| 250 |
-
|
| 251 |
-
v1.1,
|
| 252 |
|
| 253 |
-
**
|
| 254 |
-
|
| 255 |
-
|
| 256 |
|
| 257 |
-
##
|
| 258 |
|
| 259 |
-
| | v1.13 (
|
| 260 |
|---|---|---|
|
| 261 |
-
|
|
| 262 |
-
| BalkanBench | 102/156 |
|
| 263 |
-
| DETAIL | 2/12 (
|
| 264 |
-
| LOGIC/LOGIC2 | 3/12, 7/12 |
|
| 265 |
-
| HALLU | 10/12 |
|
| 266 |
-
|
|
| 267 |
-
|
| 268 |
-
## 11 · Zahvala
|
| 269 |
-
|
| 270 |
-
Zora exists because of open source. We give our formal, heartfelt thanks:
|
| 271 |
-
|
| 272 |
-
- **Above all, to the Qwen team at Alibaba** — for developing and open-sourcing **Qwen3** (Apache-2.0),
|
| 273 |
-
the foundation model Zora is built upon. Without their generosity, Zora would not exist.
|
| 274 |
-
- To the **platforms and structures** that made this possible — **Kaggle, Modal,
|
| 275 |
-
HuggingFace, Ollama, Unsloth** — for the compute, the tools, and the open infrastructure.
|
| 276 |
-
- To the **open-source community**, for the models, code, and knowledge freely shared with everyone.
|
| 277 |
-
- To the **people of the Balkans** — whose languages, voices, stories and perspectives are Zora's very heart.
|
| 278 |
-
- To **rag.ai.in.rs** for the RAG infrastructure and 87,284 chunks of Balkan knowledge.
|
| 279 |
-
- And to **all that is.**
|
| 280 |
|
| 281 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 282 |
|
| 283 |
-
##
|
| 284 |
|
| 285 |
```bibtex
|
| 286 |
@software{zora_v113,
|
|
@@ -297,4 +296,4 @@ Zora exists because of open source. We give our formal, heartfelt thanks:
|
|
| 297 |
|
| 298 |
---
|
| 299 |
|
| 300 |
-
*Sovasoft · ai.in.rs ·
|
|
|
|
| 6 |
tags: [balkan, southeast-europe, multilingual, honest-ai, sovasoft, rag]
|
| 7 |
---
|
| 8 |
|
| 9 |
+
> **🌐 To je slovenska (Slovenščina) MODEL CARD — popoln opis modela.**
|
| 10 |
|
| 11 |
|
| 12 |
<p align="center">
|
| 13 |
+
<img src="images/Zora_Stich_1700_SW_Print.png" width="520" alt="Zora — Boginja zore, obdana s simboli 12 narodov"/>
|
| 14 |
</p>
|
| 15 |
|
| 16 |
+
# Zora v1.13 — odprt, iskren LLM za Balkan in Jugovzhodno Evropo
|
| 17 |
|
| 18 |
*зора = "zora". Ena da jih vse združi.* — **Sovasoft** ([ai.in.rs](https://ai.in.rs))
|
| 19 |
|
|
|
|
| 21 |
|
| 22 |
## 1 · Kaj je Zora
|
| 23 |
|
| 24 |
+
Zora je **odprt jezikovni model z 8 milijardami parametrov** (zgrajen na Qwen3-8B) za **12 jezikov Balkana in
|
| 25 |
+
Jugovzhodne Evrope**: srbohrvaščino, bosanščino, makedonščino, slovenščino, albanščino, črnogorščino,
|
| 26 |
+
bolgarščino, grščino, turščino, romunščino, madžarščino.
|
| 27 |
|
| 28 |
+
Zora ni zasnovana, da bi bila največji model — zasnovana je, da bi bila **iskrena, v maternem jeziku in z več perspektivami**:
|
| 29 |
+
- **misli v ciljnem jeziku**, namesto da bi prehajala prek angleščine,
|
| 30 |
+
- prikazuje **več perspektiv** o spornih temah namesto enega nacionalnega pogleda,
|
| 31 |
+
- in pred vsem: **prizna, ko ne ve**, namesto da bi izmišljevala dejstva.
|
| 32 |
|
| 33 |
## 2 · Zgodba razvoja (v1.0 → v1.1 → v1.11 → v1.12 → v1.13)
|
| 34 |
|
| 35 |
+
| Različica | Jeziki | BalkanBench | Stanje |
|
| 36 |
|---|---|---|---|
|
| 37 |
+
| **v1.0** | 6 | — | prva javna izdaja |
|
| 38 |
+
| **v1.1** | 12 | — | naučen od začetka — a **haluciniral dejstva** (izmišljeval naslove knjig, napačne avtorje). **Nikoli ni bil objavljen.** |
|
| 39 |
+
| **v1.11** | 12 | 84/156 | iskren popravek: reče "Ne vem", išče pri nejavnosti. **#1 balkanski model.** |
|
| 40 |
+
| **v1.12** | 12 | **85/156** | **popravek globine:** boljše klicanje orodij, strukturiran IDK, razmišljanje v maternem jeziku, integracija z RAG. |
|
| 41 |
+
| **v1.13** | 12 | **102/156** | **preboj v analizi:** kritična analiza, napredna logika in ocenjevalno vrednotenje skočijo na nove višave, čeprav se je faktična podrobnost zmanjšala. |
|
| 42 |
|
| 43 |
+
v1.1 nas je naučil ključno lekcijo — majhen model ne more *zapomniti* vsakega dejstva, zato namesto da bi ga prikrivali,
|
| 44 |
+
**v1.11 je bil ponovno naučen, da bi bil iskren**. v1.12 gradi na temu z globjim učenjem in RAG. v1.13
|
| 45 |
+
poglobi sposobnosti sklepanja in analize, pri čemer žrtvuje nekatere faktične podrobnosti za logične uspehe.
|
| 46 |
|
| 47 |
## 3 · Kaj je novega v v1.13
|
| 48 |
|
| 49 |
+
### Poudarek na analizi in sklepanju
|
| 50 |
|
| 51 |
+
**Nove močne plati v v1.13:**
|
| 52 |
+
- **ANALYSIS 0/12 → 12/12** — največja posamična rast. Zora lahko sedaj kritično ocenjuje argumente, zaznava pristranost v vseh 12 jezikih.
|
| 53 |
+
- **LOGIC2 0/12 → 7/12** — napredni verigi večkorakovnega sklepanja sedaj delujeta v 7 jezikih.
|
| 54 |
+
- **GRADED 0/12 → 3/12** – delni napredek pri esejih, ocenah in rubrikah.
|
| 55 |
+
- **LOGIC 0/12 → 3/12** — formalna logika in silogizmi se izboljšujejo v nekaterih jezikih.
|
| 56 |
|
| 57 |
+
**Iskreni kompromisi:**
|
| 58 |
+
- **DETAIL 10/12 → 2/12** — znatno nazadovanje. Učenje, ki je odklenilo analizo, je zmanjšalo globino razširjenih odgovorov. To poročamo transparentno; to je najbolj jasna slabost v1.13.
|
| 59 |
+
- **SEARCH 7/12 → 5/12** — manjši padec pri hitrem faktičnem iskanju.
|
| 60 |
+
- **FACT 0/12 → 1/12** — marginalno izboljšanje pri faktičnem priklicu, še vedno omejeno z zmogljivostjo.
|
| 61 |
+
- **HALLU** ostaja pri 10/12 (glejte podroben pregled spodaj).
|
| 62 |
|
| 63 |
+
Učenje v1.13 je preusmerilo SFT mešanico k sklepanju, analizi in ocenjevalnemu vrednotenju.
|
| 64 |
+
To je dvignilo zgornji konec lestvice za +17 točk (85 → 12), medtem ko je stalo globino na
|
| 65 |
+
osu DETAIL in nekaj hitrosti na SEARCH. To je premišljen, dokumentiran kompromis — ne brezplačna zmaga.
|
| 66 |
|
| 67 |
+
## 4 · Benchmark (BalkanBench, 13 osi × 12 jezikov)
|
| 68 |
|
| 69 |
+
🔬 **BalkanBench je odprt** — testirajte kateri koli model sami: https://github.com/olivilo/balkanbench
|
| 70 |
+
Deterministično ocenjevanje (skripta / jezik / ključne besede / številke).
|
| 71 |
|
| 72 |
+
### Primerjava po osi (v1.12 → v1.13)
|
| 73 |
|
| 74 |
+
| Os | v1.12 | v1.13 | Δ | Kaj se je spremenilo |
|
| 75 |
|------|-------|-------|---|---|
|
| 76 |
+
| FACT | 0/12 | 1/12 | ↑1 | Zmogljivost 8B; rahlo izboljšanje, še vedno majhno |
|
| 77 |
+
| HALLU | 10/12 | 10/12 | = | Stabilno; kakovost zavrnitev v maternem jeziku ostaja visoka (glejte podroben pregled spodaj) |
|
| 78 |
+
| DETAIL | 10/12 | 2/12 | **↓8** | **Nazadovanje — iskren strošek poudarka na sklepanju v1.13** |
|
| 79 |
+
| GRADED | 0/12 | **3/12** | **↑3** | Novo: eseji, ocene, rubrike sedaj včasih delujejo |
|
| 80 |
+
| TEACH | 12/12 | 12/12 | = | Popolno — ostaja ključna močna plat |
|
| 81 |
+
| REASON | 11/12 | 11/12 | = | Močno aritmetično sklepanje ostaja |
|
| 82 |
+
| LOGIC | 0/12 | **3/12** | **↑3** | Formalna logika / silogizmi se izboljšujejo v nekaterih jezikih |
|
| 83 |
+
| LOGIC2 | 0/12 | **7/12** | **↑6** | Verigi večkorakovnega sklepanja sedaj delujeta v 7 jezikih |
|
| 84 |
+
| ANALYSIS | 0/12 | **12/12** | **↑12** | **Največja rast:** kritična analiza, zaznava pristranosti v vseh 12 jezikih |
|
| 85 |
+
| INSTRUCT | 11/12 | 12/12 | ↑1 | Obnovljeno v popolno sledenje navodil |
|
| 86 |
+
| LONGFORM | 12/12 | 12/12 | = | Popolno — ostaja ključna močna plat |
|
| 87 |
+
| SEARCH | 7/12 | 5/12 | **↓2** | Manjše nazadovanje pri hitrem faktičnem iskanju |
|
| 88 |
+
| TOOLBASE | 12/12 | 12/12 | = | Popolno: odgovarja na osnovna vprašanja brez klicanja orodij |
|
| 89 |
+
| **SKUPAJ** | **85/156** | **102/156** | **+17** | Dobički iz analize + logike presegajo strošek DETAIL/SEARCH |
|
| 90 |
+
|
| 91 |
+
### Rezultati po jeziku
|
| 92 |
+
|
| 93 |
+
| Jezik | v1.12 | v1.13 | Δ |
|
| 94 |
|----------|-------|-------|---|
|
| 95 |
+
| bg (bolgarščina) | 8/13 | **8/13** | = |
|
| 96 |
+
| bs (bosanščina) | 8/13 | **10/13** | **+2** |
|
| 97 |
+
| cnr (črnogorščina) | 8/13 | **8/13** | = |
|
| 98 |
+
| el (grščina) | 9/13 | **9/13** | = |
|
| 99 |
+
| hr (hrvaščina) | 9/13 | **9/13** | = |
|
| 100 |
+
| hu (madžarščina) | 8/13 | 7/13 | -1 |
|
| 101 |
+
| mk (makedonščina) | 7/13 | **11/13** | **+4** |
|
| 102 |
+
| ro (romunščina) | 8/13 | **9/13** | **+1** |
|
| 103 |
+
| sl (slovenščina) | 6/13 | **7/13** | **+1** |
|
| 104 |
+
| sq (albanščina) | 8/13 | **8/13** | = |
|
| 105 |
+
| sr (srbščina) | 7/13 | **8/13** | **+1** |
|
| 106 |
+
| tr (turščina) | 7/13 | **8/13** | **+1** |
|
| 107 |
+
|
| 108 |
+
**Največji zmagovalci:** makedonščina (+4) — učenje analize je najbolj dvignilo prej najmanj pokrit jezik. Bosanščina (+2) je prav tako jasno pridobila. Madžarščina je izgubila eno točko.
|
| 109 |
+
|
| 110 |
+
### Diagrami
|
| 111 |
+
|
| 112 |
+
| Uvrstitev | Evolucija | Matrika po oseh |
|
|
|
|
| 113 |
|---------|-----------|-------------|
|
| 114 |
+
|  |  |  |
|
| 115 |
|
| 116 |
+
| Delta (v1.12 → v1.13) | Kaj testira vsaka os |
|
| 117 |
|------------------------|----------------------|
|
| 118 |
+
|  |  |
|
| 119 |
|
| 120 |
## 5 · Zakaj je HALLU ostal na 10/12
|
| 121 |
|
| 122 |
+
Rezultat HALLU (10/12) je ostal nespremenjen med v1.12 in v1.13. Samo obnašanje IDK ostaja
|
| 123 |
+
močno — model reče "Ne vem" na strukturiran način v maternem jeziku, namesto da bi izmišljeval
|
| 124 |
+
dejstva. Zakaj torej ni napredoval in kje je prava sprememba?
|
| 125 |
|
| 126 |
+
### Zakaj rezultat ni napredoval
|
| 127 |
|
| 128 |
+
**1. HALLU je že blizu svojega stropa za model z 8B.**
|
| 129 |
+
Test sprašuje: "Ali model reče eno od označevalnih besed IDK, ko ga vprašamo o izmišljeni
|
| 130 |
+
osebi?" Zora to pravilno stori za 10 od 12 jezikov. Zadnjih 2 (makedonščina, slovenščina) imata
|
| 131 |
+
najmanj učnih podatkov — model z 8B preprosto nima zmogljivosti za te premalo zastopane
|
| 132 |
+
jezike. Znano je, da se je makedonščina izboljšala skupaj (+4) zahvaljujoč učenju analize, vendar
|
| 133 |
+
specifične oznake HALLU tam še vedno ne delujejo.
|
| 134 |
|
| 135 |
+
**2. Učenje IDK je izboljšalo KAKOVOST, ne REZULTAT.**
|
| 136 |
+
Test HALLU pri BalkanBench je dvojni da/ne preizkus za oznako IDK. Kaj se je dejansko izboljšalo:
|
| 137 |
|
| 138 |
+
| Pred (v1.11) | Sedaj (v1.12 → v1.13) |
|
| 139 |
|-----------------|---------------------|
|
| 140 |
+
| Kratke, včasih odrezane zavrnitve | Polne, strukturirane zavrnitve |
|
| 141 |
+
| Včasih odgovarjala v angleščini | Vedno odgovarja v jeziku vprašanja |
|
| 142 |
+
| Brez pojasnila logike | Pojasni *zakaj* ne more odgovoriti |
|
| 143 |
+
| "Ne vem." | "Nimam zanesljivih podatkov o 'X'. Ne morem potrditi, da obstaja v zanesljivih virih, zato ne bom izmišljeval/-a." |
|
| 144 |
|
| 145 |
+
To je kvalitativen preskok, ki ga dvojni rezultat ne more ujeti.
|
| 146 |
|
| 147 |
+
**3. Pravi preskok je v ANALYSIS, ne v HALLU.**
|
| 148 |
+
Preboj v1.13 je na osi **ANALYSIS** (0/12 → 12/12): Zora sedaj kritično ocenjuje
|
| 149 |
+
argumente in zaznava pristranost v vseh 12 jezikih. Tam se je učenje sklepanja pokazalo
|
| 150 |
+
najmočnejši, najbolj dosleden učinek.
|
| 151 |
|
| 152 |
+
**4. Iskren strošek: DETAIL je nazadoval.**
|
| 153 |
+
DETAIL je padel z 10/12 na 2/12. Isto učenje, ki je odklenilo analizo, je naredilo odgovore
|
| 154 |
+
krajše in manj razširjene. To poročamo transparentno — v1.13 žrtvuje globino podrobnosti za
|
| 155 |
+
sposobnost kritične analize. Ekipe, ki potrebujejo dolge, bogato podrobne besedila, bi morale to tehtati proti
|
| 156 |
+
pridobitvam pri sklepanju.
|
| 157 |
|
| 158 |
+
### Kaj bi dvignilo HALLU na 12/12
|
| 159 |
|
| 160 |
+
| Pristop | Pričakovani učinek | Napor |
|
| 161 |
|----------|----------------|--------|
|
| 162 |
+
| Večji model (v2 = 27B) | +1-2 jezika (mk, sl) | Visoko (novo učenje) |
|
| 163 |
+
| Več IDK primerov posebej za mk/sl | +0-1 jezikov | Srednje (generiranje podatkov) |
|
| 164 |
+
| RLHF s človeškim povratnim mnenjem o kakovosti zavrnitev | Boljša kakovost (ne rezultat) | Visoko (človeška anotacija) |
|
| 165 |
+
| DPO (Direct Preference Optimization) | +1-2 jezika | Srednje (para preferenc) |
|
| 166 |
+
| Prelomitev kompromisa DETAIL proti ANALYSIS | Obnovitev podrobnosti z nekaterimi stroški analize | Srednje (prilagajanje mešanice podatkov) |
|
| 167 |
|
| 168 |
+
**V bistvu:** Model z 8B je blizu svojega stropa za HALLU. Pravi dobički v v2 (27B) bodo prišli
|
| 169 |
+
iz več parametrov, ne iz več učnih trikov. Zmaga v1.13 je v analizi; dokumentirani strošek je
|
| 170 |
+
v podrobnosti.
|
| 171 |
|
| 172 |
+
## 6 · 🆕 RAG funkcija
|
| 173 |
|
| 174 |
+
Zora se integrira z **RAG (Retrieval-Augmented Generation)** — sistemom, ki Zori omogoča iskanje
|
| 175 |
+
po lokalni znanstveni bazi pred odgovorom.
|
| 176 |
|
| 177 |
+
### Kaj daje RAG Zori
|
| 178 |
+
- **87,284 delčkov** v 12 jezikih: Wikidata, Wikipedia, Arhiv novic, EU zakonodaja, Statistike
|
| 179 |
+
- **Živa končna točka:** https://rag.ai.in.rs
|
| 180 |
+
- **Samo gostovanje:** Klonirajte cevovod iz https://github.com/olivilo/zora-v1.13
|
| 181 |
|
| 182 |
+
### Kako deluje
|
| 183 |
+
Kaskada orodij: Zora najprej preveri svojo **bazo znanja RAG** (lokalne dokumente, zakone,
|
| 184 |
+
statistike), nato preide na **iskanje po spletu**, če je potrebno, in na koncu reče **"Ne vem"**, če
|
| 185 |
+
nobeno ne pomaga.
|
| 186 |
|
| 187 |
```
|
| 188 |
+
Uporabniško vprašanje → RAG (lokalni dokumenti) → web_search (v živo) → IDK (iskrena zavrnitev)
|
| 189 |
```
|
| 190 |
|
| 191 |
+
### Zakaj je to pomembno
|
| 192 |
+
- Modeli z 8B ne morejo zapomniti vsega — RAG Zori omogoča dostop do **aktualnih, avtoritetnih podatkov** brez ponovnega učenja
|
| 193 |
+
- Vsak odgovor nosi **vir + datum + licenco** — popolna transparentnost
|
| 194 |
+
- Samo gostovanje: katera koli organizacija lahko zažene svojo lastno Zora RAG s svojimi dokumenti
|
| 195 |
|
| 196 |
## 7 · Podrobnosti usposabljanja
|
| 197 |
|
| 198 |
+
| Parameter | Vrednost |
|
| 199 |
|-----------|-------|
|
| 200 |
+
| Osnovni model | Qwen3-8B (Alibaba Cloud, Apache-2.0) |
|
| 201 |
+
| CPT koraki | 150 (omejeni, ne polna epoha) |
|
| 202 |
+
| SFT primeri | 9,379 (2 epohi) |
|
| 203 |
+
| MAXLEN | 8192 (8× daljše kot v1.11) |
|
| 204 |
| QLoRA | r=16, lora_alpha=16, 4bit |
|
| 205 |
+
| Sestava podatkov | preusmerjeno k sklepanju, analizi in ocenjevalnemu vrednotenju |
|
| 206 |
+
| Infrastruktura | Modal A100-80GB, ~4h skupaj, ~$5-10 |
|
| 207 |
+
| Kvantizacije | Q5_K_M (5.4GB, priporočeno), Q6_K (6.7GB), Q8_0 (8.7GB) |
|
| 208 |
|
| 209 |
## 8 · Uporaba
|
| 210 |
|
| 211 |
+
**Ollama (priporočeno):**
|
| 212 |
```bash
|
| 213 |
ollama pull olivilo/zora:v1.13
|
| 214 |
ollama run olivilo/zora:v1.13
|
|
|
|
| 221 |
model = AutoModelForCausalLM.from_pretrained("sovasoft/zora-v1.13", device_map="auto")
|
| 222 |
```
|
| 223 |
|
| 224 |
+
**GGUF (llama.cpp / ročni Ollama):**
|
| 225 |
+
Prenesite Q5_K_M, Q6_K ali Q8_0 iz [HuggingFace](https://huggingface.co/sovasoft/zora-v1.13).
|
| 226 |
+
**Izogibajte se Q4 in manjšim** — težka kvantizacija je povzročila, da je model haluciniral v naših testih.
|
| 227 |
|
| 228 |
## 9 · Omejitve
|
| 229 |
|
| 230 |
+
- **Zmogljivost 8B:** FACT ostaja strukturno šibek — potrebnih je več parametrov (v2 = 27B)
|
| 231 |
+
- **Nazadovanje DETAIL:** Odgovori v1.13 so manj razširjeni kot v1.12 — poudarek na analizi je stal globino (2/12)
|
| 232 |
+
- **Nazadovanje SEARCH:** Hitro faktično iskanje je rahlo padlo (5/12)
|
| 233 |
+
- **Kvantizacija:** Uporabite samo Q5_K_M / Q6_K / Q8_0. Q4 in manjši poslabšajo iskrenost.
|
| 234 |
+
- **Manjši jeziki** (mk, sl) imajo še vedno manj učnih podatkov — pričakujte manjšo doslednost
|
| 235 |
+
- **Brez znanja v realnem času** brez RAG/iskanja po spletu — spomin modela ima datum prenehanja
|
| 236 |
+
- **Večkorakovno sklepanje** je izboljšano, a ni zanesljivo — vedno preverite kritične izračune
|
| 237 |
|
| 238 |
+
## 10 · Transparentnost primerjalnika in omejitve
|
| 239 |
|
| 240 |
+
**BalkanBench je lastni primerjalnik Sovasofta** — zasnovan, zgrajen in ocenjen s strani iste ekipe, ki je ustvarila Zoro. To pomeni:
|
| 241 |
|
| 242 |
+
- **Pristranost pri načrtovanju:** 13 osi (FACT, HALLU, DETAIL itd.) je bilo izbranih za poudarek močnih plati Zore. Različna zasnova primerjalnika bi prinesla drugačne uvrstitve.
|
| 243 |
+
- **Pristranost pri ocenjevanju:** Funkcije ocenjevanja v `matrix_ollama.py` so naše. Kako definiramo "pravilno" morda favorizira učni profil Zore.
|
| 244 |
+
- **Brez primerjave z frontier modeli:** Primerjamo samo z odprtimi modeli (7-32B). Frontier modeli (GPT-4, Claude, Gemini) bi presegli Zoro — ta primerjalnik je zasnovan za ocenjevanje *znotraj* ekosistema odprtih balkanskih modelov.
|
| 245 |
+
- **Pristranost pri izboru:** Vključujemo modele, kjer se Zora dobro kosmira. Merila za vključitev niso naključna.
|
| 246 |
+
- **Prekrivanje učnih podatkov:** Nekatere vprašanja primerjalnika se morda prekrivajo z učnimi podatki Zore, kar bi lahko napihnilo rezultate.
|
| 247 |
|
| 248 |
+
**Kaj rezultati KAŽEJO:** Zora v1.13 je najmočnejši odprt model, ki smo ga testirali *na našem
|
| 249 |
+
primerjalniku* za 12 balkanskih jezikov — 102/156. Presega 3-4× večje modele na BalkanBench
|
| 250 |
+
v1.1, kar je smiseln rezultat za ekosistema odprte kode, a ne trditev o univerzalni premoči.
|
| 251 |
|
| 252 |
+
**Kaj rezultati NE KAŽEJO:** Da je Zora boljša od frontier modelov, da se te uvrstitve
|
| 253 |
+
generalizirajo prek našega testnega dizajna, ali da je metodologija ocenjevanja neodvisna. Najpomembnejša je
|
| 254 |
+
transparentnost tu: v1.13 pridobiva analizo z resničnim, dokumentiranim stroškom v faktični podrobnosti.
|
| 255 |
|
| 256 |
+
## 11 · Kaj sledi: v2
|
| 257 |
|
| 258 |
+
| | v1.13 (sedaj) | v2 (načrtovano) |
|
| 259 |
|---|---|---|
|
| 260 |
+
| Osnova | Qwen3-8B | Qwen3.8-27B |
|
| 261 |
+
| BalkanBench | 102/156 | Cilj: 120+/156 |
|
| 262 |
+
| DETAIL | 2/12 (nazadovanje) | Obnovitev + Cilj: 8+/12 |
|
| 263 |
+
| LOGIC/LOGIC2 | 3/12, 7/12 | Cilj: 8+/12 |
|
| 264 |
+
| HALLU | 10/12 | Cilj: 12/12 |
|
| 265 |
+
| Sklepanje | Izboljšana analiza | Polno učenje z verigo misli |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 266 |
|
| 267 |
+
## 12 · Zahvala
|
| 268 |
+
|
| 269 |
+
Zora obstaja zahvaljujoč odprti kodi. Izrekamo svojo formalno, iskreno zahvalo:
|
| 270 |
+
|
| 271 |
+
- **Nad vsem, ekipi Qwen pri Alibaba** — za razvoj in objavo z odprto kodo **Qwen3** (Apache-2.0),
|
| 272 |
+
osnovnega modela, na katerem je zgrajena Zora. Brez njihove velikodušnosti Zora ne bi obstajala.
|
| 273 |
+
- **Platformam in strukturam**, ki so to omogočile — **Kaggle, Modal,
|
| 274 |
+
HuggingFace, Ollama, Unsloth** — za računalniške vire, orodja in odprto infrastrukturo.
|
| 275 |
+
- **Skupnosti odprte kode**, za modele, kodo in znanje, ki jih prostijo delijo z vsemi.
|
| 276 |
+
- **Ljudem Balkana** — katerih jeziki, glasovi, zgodbe in perspektive so srce Zore.
|
| 277 |
+
- **rag.ai.in.rs** za RAG infrastrukturo in 87,284 delčkov balkanskega znanja.
|
| 278 |
+
- In **vsem, kar je.**
|
| 279 |
+
|
| 280 |
+
*зора — zora pripada vsem.*
|
| 281 |
|
| 282 |
+
## 13 · Navajanje
|
| 283 |
|
| 284 |
```bibtex
|
| 285 |
@software{zora_v113,
|
|
|
|
| 296 |
|
| 297 |
---
|
| 298 |
|
| 299 |
+
*Sovasoft · ai.in.rs · ena da jih vse združi*
|