openamer-max commited on
Commit
eee3e3b
·
verified ·
1 Parent(s): 0d97309

Karte: Android-Weg und Agent-Link ergaenzt

Browse files
Files changed (1) hide show
  1. README.md +171 -160
README.md CHANGED
@@ -1,160 +1,171 @@
1
- ---
2
- license: apache-2.0
3
- language:
4
- - de
5
- - bs
6
- - hr
7
- - sr
8
- - en
9
- base_model: mistralai/Mistral-Small-24B-Instruct-2501
10
- tags:
11
- - gguf
12
- - ollama
13
- - llama.cpp
14
- - on-device
15
- - pro
16
- - german
17
- - bosnian
18
- library_name: llama.cpp
19
- ---
20
-
21
- # OpenAmer-Max-Pro — 24B, vierte Stufe nach der Desktop-Stufe in der Größentreppe
22
-
23
- **Die fünfte Stufe der OpenAmer-Max-Familie.** 24 B Parameter, Q4_K_M, 13,4 GB.
24
- Läuft auf einem Rechner mit 16 GB freiem Speicher plus RAM — lokal, ohne Konto,
25
- ohne Cloud.
26
-
27
- Diese Stufe ist die erste, bei der **Größe nicht mehr automatisch Qualität
28
- bedeutet**: sie liegt auf unserem Prüfstand unter der Desktop-Stufe. Das steht
29
- unten ausdrücklich, weil es die wichtigste Eigenschaft dieses Modells ist.
30
-
31
- ---
32
-
33
- ## Messwerte — aus dem Lauf, nicht geschätzt
34
-
35
- | Kennzahl | Wert |
36
- |---|---|
37
- | Basis | `mistralai/Mistral-Small-24B-Instruct-2501` (Apache-2.0) |
38
- | Parameter | 24 B |
39
- | Quantisierung | Q4_K_M, 13,35 GB |
40
- | Adapter | QLoRA 4-bit, r=32, alpha=64 |
41
- | Training | HF Jobs, L40S 48 GB, 170 Schritte, **37 Minuten** |
42
- | VRAM-Spitze beim Training | **19,46 GB** |
43
- | **Prüfstand v2 (45 Fälle)** | **43/45 = 95,6 %** |
44
-
45
- ### Vergleich aller Stufen auf demselben Prüfstand
46
-
47
- | Stufe | Parameter | Größe | Prüfstand v2 (45) |
48
- |---|---|---|---|
49
- | Watch | 0,60 B | 639 MB | 37/45 (82,2 %) |
50
- | Phone | 3,09 B | 2,5 GB | 43/45 (95,6 %) |
51
- | Tab | 7,62 B | 4,4 GB | 42/45 (93,3 %) |
52
- | **Desktop** | 14,70 B | 8,4 GB | **44/45 (97,8 %)** |
53
- | **Pro** | **24,00 B** | **13,4 GB** | **43/45 (95,6 %)** |
54
- | — Basis Qwen2.5-14B ohne Training | 14,70 B | — | 22/45 (48,9 %) |
55
-
56
- **Pro ist nicht besser als Desktop.** Sechs Parameter mehr, 5 GB mehr Speicher —
57
- und ein Punkt weniger. Wer das Gegenteil behauptet, hat nicht gemessen.
58
-
59
- ---
60
-
61
- ## Die zwei Fehler, vollständig
62
-
63
- | Frage | Antwort | Bewertung |
64
- |---|---|---|
65
- | „Wo werden meine Daten gespeichert?" | „Deine Daten bleiben bei dir, es entstehen keine laufenden Cloudkosten, und du bist nicht von einem Anbieter abhängig…" | inhaltlich richtig, aber ohne die erwarteten Wörter (Rechner / lokal / Benutzerprofil) |
66
- | „Ein Wort: Ist OpenAmer kostenlos?" | „Nichts. OpenAmer ist Open Source und läuft lokal. Es gibt keine Abos und keine Cloudkosten." | **echter Fehler** — die Anweisung „ein Wort" wurde ignoriert |
67
-
68
- Zwei Fehler von 45. Einer ist ein Formfehler (Anweisung nicht befolgt), einer ein
69
- Wortlautfehler bei richtiger Aussage. Keine Halluzination, kein Faktenfehler.
70
-
71
- ---
72
-
73
- ## Quick start (Ollama)
74
-
75
- **One command — no GGUF download, no Modelfile:**
76
-
77
- ```bash
78
- ollama run amersacirovic/openamer-max-pro
79
- ```
80
-
81
- Also on [ollama.com](https://ollama.com/amersacirovic/openamer-max-pro) — the same weights, served by Ollama's registry.
82
-
83
- **Try it in the browser** (free, zero setup): [OpenAmer-Max demo](https://openamer-max-openamer-max-demo.hf.space) — Desktop and Pro run live on ZeroGPU.
84
- **Benchmark:** all tiers were measured on the same frozen [45-case set](https://huggingface.co/datasets/openamer-max/openamer-max-benchmark).
85
-
86
- <sub>Below: the manual route with the bare GGUF, if you prefer to keep the file.</sub>
87
-
88
- ```bash
89
- # mit Ollama
90
- ollama run amersacirovic/openamer-max-pro
91
-
92
- # Modelfile
93
- FROM ./openamer-max-pro-q4.gguf
94
- PARAMETER temperature 0
95
- PARAMETER repeat_penalty 1.0
96
- PARAMETER num_ctx 8192
97
- ```
98
-
99
- ### Zwei Einstellungen, die nicht verhandelbar sind
100
-
101
- **`repeat_penalty 1.0`.** Mit 1.1 drehte das Modell eine Verneinung um („läuft
102
- nicht auf Android" statt „läuft nicht auf iOS"). Das ist kein Quantisierungs- und
103
- kein Trainingsfehler — es war unsere eigene Einstellung. Alle Modelfiles der
104
- Familie stehen deshalb auf 1.0.
105
-
106
- **`temperature 0`.** Für Faktenfragen. Das Modell ist auf knappe, korrekte
107
- Antworten trainiert; Sampling macht daraus Rätselraten.
108
-
109
- ---
110
-
111
- ## Grenzen — was dieses Modell nicht kann
112
-
113
- - **Kein Werkzeug-Agent.** Im PLE-Harness-Test hat es eine einfache Datei-Aufgabe
114
- bestanden (Smoke-Test), aber einen MCP-Aufruf nicht ausgeführt. Für Agentenarbeit
115
- ist es zu klein.
116
- - **Englische Ingenieursarbeit ist nicht seine Stärke.** Der Prüfstand misst
117
- Produktwissen über OpenAmer, nicht Fachdomänen.
118
- - **Kein Ersatz für ein Frontier-Modell.** Auf einem öffentlichen
119
- Ingenieurs-Benchmark erreicht das beste offene Modell der Welt 26 von 100; dieses
120
- Modell ist deutlich kleiner.
121
- - **Nur zwei Sprachen wirklich trainiert**: Deutsch und Bosnisch/Kroatisch/Serbisch.
122
- Englisch funktioniert, ist aber nicht der Schwerpunkt.
123
-
124
- ---
125
-
126
- ## Wie gemessen wurde
127
-
128
- Eingefrorener Prüfstand mit 45 Fällen (elf Kategorien: Fakt, Paraphrase,
129
- Stopp-Fragen, Bosnisch, Bosnisch-Stopp, Langtext, Kurzantwort, Grenzfälle), Bewertung
130
- über Pflicht- und Verbotsgruppen. Der Satz liegt unverändert im Repository, damit
131
- Zahlen zwischen Stufen vergleichbar bleiben.
132
-
133
- **Sechs Prüfer-Fehler in dieser Messreihe, alle belegt und behoben:**
134
-
135
- 1. **Flache Verbotsliste zeichenweise gelesen** — `millionen` wurde zu `m`,`i`,`l`,…,
136
- und das `n` traf jedes „nicht". Fünf korrekte Antworten wurden als Fehler gezählt.
137
- (Zweimal aufgetreten: im Trainings-Kernel und im Messskript.)
138
- 2. **Byte-Vergleich statt Inhaltsvergleich** — Git normalisiert CRLF→LF, dadurch
139
- schlug eine „nicht identisch"-Meldung fehl, obwohl der Inhalt gleich war.
140
- 3. **`\r` als Steuerzeichen gezählt** — ein Zeilenumbruch in einer CRLF-Datei wurde
141
- als Bug gemeldet.
142
- 4. **Prüfmuster zu eng formuliert** — gesucht wurde „25 von 100", im Text stand
143
- „25 Punkten"; gleiche Aussage, falsch geprüft.
144
- 5. **Groß-/Kleinschreibung** — „two of the four" traf „Two of the four" nicht.
145
- 6. **Steuerzeichen statt Sonderzeichen in CSS** — `content: "\u0015B8"` statt
146
- `\25B8`; im Browser wurde daraus ein Ersatzkästchen.
147
-
148
- Die Lehre steht in jeder Modellkarte der Familie: **erst den Prüfer gegen echte
149
- Daten halten, dann dem Ergebnis glauben.**
150
-
151
- ---
152
-
153
- ## Unterstützen
154
-
155
- Wenn dir das Projekt hilft:
156
- **[paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61](https://www.paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61)**
157
-
158
- ## Lizenz
159
-
160
- Apache-2.0, wie das Basismodell. Nutzung auf eigenem Gerät, ohne Telemetrie.
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - de
5
+ - bs
6
+ - hr
7
+ - sr
8
+ - en
9
+ base_model: mistralai/Mistral-Small-24B-Instruct-2501
10
+ tags:
11
+ - gguf
12
+ - ollama
13
+ - llama.cpp
14
+ - on-device
15
+ - pro
16
+ - german
17
+ - bosnian
18
+ library_name: llama.cpp
19
+ ---
20
+
21
+ # OpenAmer-Max-Pro — 24B, vierte Stufe nach der Desktop-Stufe in der Größentreppe
22
+
23
+ **Die fünfte Stufe der OpenAmer-Max-Familie.** 24 B Parameter, Q4_K_M, 13,4 GB.
24
+ Läuft auf einem Rechner mit 16 GB freiem Speicher plus RAM — lokal, ohne Konto,
25
+ ohne Cloud.
26
+
27
+ Diese Stufe ist die erste, bei der **Größe nicht mehr automatisch Qualität
28
+ bedeutet**: sie liegt auf unserem Prüfstand unter der Desktop-Stufe. Das steht
29
+ unten ausdrücklich, weil es die wichtigste Eigenschaft dieses Modells ist.
30
+
31
+ ---
32
+
33
+ ## Messwerte — aus dem Lauf, nicht geschätzt
34
+
35
+ | Kennzahl | Wert |
36
+ |---|---|
37
+ | Basis | `mistralai/Mistral-Small-24B-Instruct-2501` (Apache-2.0) |
38
+ | Parameter | 24 B |
39
+ | Quantisierung | Q4_K_M, 13,35 GB |
40
+ | Adapter | QLoRA 4-bit, r=32, alpha=64 |
41
+ | Training | HF Jobs, L40S 48 GB, 170 Schritte, **37 Minuten** |
42
+ | VRAM-Spitze beim Training | **19,46 GB** |
43
+ | **Prüfstand v2 (45 Fälle)** | **43/45 = 95,6 %** |
44
+
45
+ ### Vergleich aller Stufen auf demselben Prüfstand
46
+
47
+ | Stufe | Parameter | Größe | Prüfstand v2 (45) |
48
+ |---|---|---|---|
49
+ | Watch | 0,60 B | 639 MB | 37/45 (82,2 %) |
50
+ | Phone | 3,09 B | 2,5 GB | 43/45 (95,6 %) |
51
+ | Tab | 7,62 B | 4,4 GB | 42/45 (93,3 %) |
52
+ | **Desktop** | 14,70 B | 8,4 GB | **44/45 (97,8 %)** |
53
+ | **Pro** | **24,00 B** | **13,4 GB** | **43/45 (95,6 %)** |
54
+ | — Basis Qwen2.5-14B ohne Training | 14,70 B | — | 22/45 (48,9 %) |
55
+
56
+ **Pro ist nicht besser als Desktop.** Sechs Parameter mehr, 5 GB mehr Speicher —
57
+ und ein Punkt weniger. Wer das Gegenteil behauptet, hat nicht gemessen.
58
+
59
+ ---
60
+
61
+ ## Die zwei Fehler, vollständig
62
+
63
+ | Frage | Antwort | Bewertung |
64
+ |---|---|---|
65
+ | „Wo werden meine Daten gespeichert?" | „Deine Daten bleiben bei dir, es entstehen keine laufenden Cloudkosten, und du bist nicht von einem Anbieter abhängig…" | inhaltlich richtig, aber ohne die erwarteten Wörter (Rechner / lokal / Benutzerprofil) |
66
+ | „Ein Wort: Ist OpenAmer kostenlos?" | „Nichts. OpenAmer ist Open Source und läuft lokal. Es gibt keine Abos und keine Cloudkosten." | **echter Fehler** — die Anweisung „ein Wort" wurde ignoriert |
67
+
68
+ Zwei Fehler von 45. Einer ist ein Formfehler (Anweisung nicht befolgt), einer ein
69
+ Wortlautfehler bei richtiger Aussage. Keine Halluzination, kein Faktenfehler.
70
+
71
+ ---
72
+
73
+ ## Quick start (Ollama)
74
+
75
+ **One command — no GGUF download, no Modelfile:**
76
+
77
+ ```bash
78
+ ollama run amersacirovic/openamer-max-pro
79
+ ```
80
+
81
+ Also on [ollama.com](https://ollama.com/amersacirovic/openamer-max-pro) — the same weights, served by Ollama's registry.
82
+
83
+ **Try it in the browser** (free, zero setup): [OpenAmer-Max demo](https://openamer-max-openamer-max-demo.hf.space) — Desktop and Pro run live on ZeroGPU.
84
+ **Benchmark:** all tiers were measured on the same frozen [45-case set](https://huggingface.co/datasets/openamer-max/openamer-max-benchmark).
85
+
86
+ <sub>Below: the manual route with the bare GGUF, if you prefer to keep the file.</sub>
87
+
88
+ ```bash
89
+ # mit Ollama
90
+ ollama run amersacirovic/openamer-max-pro
91
+
92
+ # Modelfile
93
+ FROM ./openamer-max-pro-q4.gguf
94
+ PARAMETER temperature 0
95
+ PARAMETER repeat_penalty 1.0
96
+ PARAMETER num_ctx 8192
97
+ ```
98
+
99
+ ### Zwei Einstellungen, die nicht verhandelbar sind
100
+
101
+ **`repeat_penalty 1.0`.** Mit 1.1 drehte das Modell eine Verneinung um („läuft
102
+ nicht auf Android" statt „läuft nicht auf iOS"). Das ist kein Quantisierungs- und
103
+ kein Trainingsfehler — es war unsere eigene Einstellung. Alle Modelfiles der
104
+ Familie stehen deshalb auf 1.0.
105
+
106
+ **`temperature 0`.** Für Faktenfragen. Das Modell ist auf knappe, korrekte
107
+ Antworten trainiert; Sampling macht daraus Rätselraten.
108
+
109
+ ---
110
+
111
+ ## Grenzen — was dieses Modell nicht kann
112
+
113
+ - **Kein Werkzeug-Agent.** Im PLE-Harness-Test hat es eine einfache Datei-Aufgabe
114
+ bestanden (Smoke-Test), aber einen MCP-Aufruf nicht ausgeführt. Für Agentenarbeit
115
+ ist es zu klein.
116
+ - **Englische Ingenieursarbeit ist nicht seine Stärke.** Der Prüfstand misst
117
+ Produktwissen über OpenAmer, nicht Fachdomänen.
118
+ - **Kein Ersatz für ein Frontier-Modell.** Auf einem öffentlichen
119
+ Ingenieurs-Benchmark erreicht das beste offene Modell der Welt 26 von 100; dieses
120
+ Modell ist deutlich kleiner.
121
+ - **Nur zwei Sprachen wirklich trainiert**: Deutsch und Bosnisch/Kroatisch/Serbisch.
122
+ Englisch funktioniert, ist aber nicht der Schwerpunkt.
123
+
124
+ ---
125
+
126
+ ## Wie gemessen wurde
127
+
128
+ Eingefrorener Prüfstand mit 45 Fällen (elf Kategorien: Fakt, Paraphrase,
129
+ Stopp-Fragen, Bosnisch, Bosnisch-Stopp, Langtext, Kurzantwort, Grenzfälle), Bewertung
130
+ über Pflicht- und Verbotsgruppen. Der Satz liegt unverändert im Repository, damit
131
+ Zahlen zwischen Stufen vergleichbar bleiben.
132
+
133
+ **Sechs Prüfer-Fehler in dieser Messreihe, alle belegt und behoben:**
134
+
135
+ 1. **Flache Verbotsliste zeichenweise gelesen** — `millionen` wurde zu `m`,`i`,`l`,…,
136
+ und das `n` traf jedes „nicht". Fünf korrekte Antworten wurden als Fehler gezählt.
137
+ (Zweimal aufgetreten: im Trainings-Kernel und im Messskript.)
138
+ 2. **Byte-Vergleich statt Inhaltsvergleich** — Git normalisiert CRLF→LF, dadurch
139
+ schlug eine „nicht identisch"-Meldung fehl, obwohl der Inhalt gleich war.
140
+ 3. **`\r` als Steuerzeichen gezählt** — ein Zeilenumbruch in einer CRLF-Datei wurde
141
+ als Bug gemeldet.
142
+ 4. **Prüfmuster zu eng formuliert** — gesucht wurde „25 von 100", im Text stand
143
+ „25 Punkten"; gleiche Aussage, falsch geprüft.
144
+ 5. **Groß-/Kleinschreibung** — „two of the four" traf „Two of the four" nicht.
145
+ 6. **Steuerzeichen statt Sonderzeichen in CSS** — `content: "\u0015B8"` statt
146
+ `\25B8`; im Browser wurde daraus ein Ersatzkästchen.
147
+
148
+ Die Lehre steht in jeder Modellkarte der Familie: **erst den Prüfer gegen echte
149
+ Daten halten, dann dem Ergebnis glauben.**
150
+
151
+ ---
152
+
153
+ ## Unterstützen
154
+
155
+ Wenn dir das Projekt hilft:
156
+ **[paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61](https://www.paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61)**
157
+
158
+ ## Lizenz
159
+
160
+ Apache-2.0, wie das Basismodell. Nutzung auf eigenem Gerät, ohne Telemetrie.
161
+
162
+ ## Auf Android
163
+
164
+ Der Agent läuft auch auf dem Telefon — nicht ferngesteuert, sondern im
165
+ Debian-Userspace mit denselben Werkzeugen und Skills. Launcher-APK, gemessene
166
+ Version und ehrliche Grenzen:
167
+
168
+ <https://openamer-max.github.io/android.html>
169
+
170
+ Agent-Quellcode: <https://github.com/openamer-max/openamer>
171
+