openamer-max commited on
Commit
485dee8
·
verified ·
1 Parent(s): 7f1a0fd

docs: one-command install via ollama run (pro)

Browse files
Files changed (1) hide show
  1. README.md +157 -147
README.md CHANGED
@@ -1,147 +1,157 @@
1
- ---
2
- license: apache-2.0
3
- language:
4
- - de
5
- - bs
6
- - hr
7
- - sr
8
- - en
9
- base_model: mistralai/Mistral-Small-24B-Instruct-2501
10
- tags:
11
- - gguf
12
- - ollama
13
- - llama.cpp
14
- - on-device
15
- - pro
16
- - german
17
- - bosnian
18
- library_name: llama.cpp
19
- ---
20
-
21
- # OpenAmer-Max-Pro — 24B, vierte Stufe nach der Desktop-Stufe in der Größentreppe
22
-
23
- **Die fünfte Stufe der OpenAmer-Max-Familie.** 24 B Parameter, Q4_K_M, 13,4 GB.
24
- Läuft auf einem Rechner mit 16 GB freiem Speicher plus RAM — lokal, ohne Konto,
25
- ohne Cloud.
26
-
27
- Diese Stufe ist die erste, bei der **Größe nicht mehr automatisch Qualität
28
- bedeutet**: sie liegt auf unserem Prüfstand unter der Desktop-Stufe. Das steht
29
- unten ausdrücklich, weil es die wichtigste Eigenschaft dieses Modells ist.
30
-
31
- ---
32
-
33
- ## Messwerte — aus dem Lauf, nicht geschätzt
34
-
35
- | Kennzahl | Wert |
36
- |---|---|
37
- | Basis | `mistralai/Mistral-Small-24B-Instruct-2501` (Apache-2.0) |
38
- | Parameter | 24 B |
39
- | Quantisierung | Q4_K_M, 13,35 GB |
40
- | Adapter | QLoRA 4-bit, r=32, alpha=64 |
41
- | Training | HF Jobs, L40S 48 GB, 170 Schritte, **37 Minuten** |
42
- | VRAM-Spitze beim Training | **19,46 GB** |
43
- | **Prüfstand v2 (45 Fälle)** | **43/45 = 95,6 %** |
44
-
45
- ### Vergleich aller Stufen auf demselben Prüfstand
46
-
47
- | Stufe | Parameter | Größe | Prüfstand v2 (45) |
48
- |---|---|---|---|
49
- | Watch | 0,60 B | 639 MB | 37/45 (82,2 %) |
50
- | Phone | 3,09 B | 2,5 GB | 43/45 (95,6 %) |
51
- | Tab | 7,62 B | 4,4 GB | 42/45 (93,3 %) |
52
- | **Desktop** | 14,70 B | 8,4 GB | **44/45 (97,8 %)** |
53
- | **Pro** | **24,00 B** | **13,4 GB** | **43/45 (95,6 %)** |
54
- | — Basis Qwen2.5-14B ohne Training | 14,70 B | — | 22/45 (48,9 %) |
55
-
56
- **Pro ist nicht besser als Desktop.** Sechs Parameter mehr, 5 GB mehr Speicher —
57
- und ein Punkt weniger. Wer das Gegenteil behauptet, hat nicht gemessen.
58
-
59
- ---
60
-
61
- ## Die zwei Fehler, vollständig
62
-
63
- | Frage | Antwort | Bewertung |
64
- |---|---|---|
65
- | „Wo werden meine Daten gespeichert?" | „Deine Daten bleiben bei dir, es entstehen keine laufenden Cloudkosten, und du bist nicht von einem Anbieter abhängig…" | inhaltlich richtig, aber ohne die erwarteten Wörter (Rechner / lokal / Benutzerprofil) |
66
- | „Ein Wort: Ist OpenAmer kostenlos?" | „Nichts. OpenAmer ist Open Source und läuft lokal. Es gibt keine Abos und keine Cloudkosten." | **echter Fehler** — die Anweisung „ein Wort" wurde ignoriert |
67
-
68
- Zwei Fehler von 45. Einer ist ein Formfehler (Anweisung nicht befolgt), einer ein
69
- Wortlautfehler bei richtiger Aussage. Keine Halluzination, kein Faktenfehler.
70
-
71
- ---
72
-
73
- ## Benutzung
74
-
75
- ```bash
76
- # mit Ollama
77
- ollama pull hf.co/openamer-max/openamer-max-pro:Q4_K_M
78
-
79
- # Modelfile
80
- FROM ./openamer-max-pro-q4.gguf
81
- PARAMETER temperature 0
82
- PARAMETER repeat_penalty 1.0
83
- PARAMETER num_ctx 8192
84
- ```
85
-
86
- ### Zwei Einstellungen, die nicht verhandelbar sind
87
-
88
- **`repeat_penalty 1.0`.** Mit 1.1 drehte das Modell eine Verneinung um („läuft
89
- nicht auf Android" statt „läuft nicht auf iOS"). Das ist kein Quantisierungs- und
90
- kein Trainingsfehler — es war unsere eigene Einstellung. Alle Modelfiles der
91
- Familie stehen deshalb auf 1.0.
92
-
93
- **`temperature 0`.** Für Faktenfragen. Das Modell ist auf knappe, korrekte
94
- Antworten trainiert; Sampling macht daraus Rätselraten.
95
-
96
- ---
97
-
98
- ## Grenzen — was dieses Modell nicht kann
99
-
100
- - **Kein Werkzeug-Agent.** Im PLE-Harness-Test hat es eine einfache Datei-Aufgabe
101
- bestanden (Smoke-Test), aber einen MCP-Aufruf nicht ausgeführt. Für Agentenarbeit
102
- ist es zu klein.
103
- - **Englische Ingenieursarbeit ist nicht seine Stärke.** Der Prüfstand misst
104
- Produktwissen über OpenAmer, nicht Fachdomänen.
105
- - **Kein Ersatz für ein Frontier-Modell.** Auf einem öffentlichen
106
- Ingenieurs-Benchmark erreicht das beste offene Modell der Welt 26 von 100; dieses
107
- Modell ist deutlich kleiner.
108
- - **Nur zwei Sprachen wirklich trainiert**: Deutsch und Bosnisch/Kroatisch/Serbisch.
109
- Englisch funktioniert, ist aber nicht der Schwerpunkt.
110
-
111
- ---
112
-
113
- ## Wie gemessen wurde
114
-
115
- Eingefrorener Prüfstand mit 45 Fällen (elf Kategorien: Fakt, Paraphrase,
116
- Stopp-Fragen, Bosnisch, Bosnisch-Stopp, Langtext, Kurzantwort, Grenzfälle), Bewertung
117
- über Pflicht- und Verbotsgruppen. Der Satz liegt unverändert im Repository, damit
118
- Zahlen zwischen Stufen vergleichbar bleiben.
119
-
120
- **Sechs Prüfer-Fehler in dieser Messreihe, alle belegt und behoben:**
121
-
122
- 1. **Flache Verbotsliste zeichenweise gelesen** — `millionen` wurde zu `m`,`i`,`l`,…,
123
- und das `n` traf jedes „nicht". Fünf korrekte Antworten wurden als Fehler gezählt.
124
- (Zweimal aufgetreten: im Trainings-Kernel und im Messskript.)
125
- 2. **Byte-Vergleich statt Inhaltsvergleich** — Git normalisiert CRLF→LF, dadurch
126
- schlug eine „nicht identisch"-Meldung fehl, obwohl der Inhalt gleich war.
127
- 3. **`\r` als Steuerzeichen gezählt** — ein Zeilenumbruch in einer CRLF-Datei wurde
128
- als Bug gemeldet.
129
- 4. **Prüfmuster zu eng formuliert** — gesucht wurde „25 von 100", im Text stand
130
- „25 Punkten"; gleiche Aussage, falsch geprüft.
131
- 5. **Groß-/Kleinschreibung** — „two of the four" traf „Two of the four" nicht.
132
- 6. **Steuerzeichen statt Sonderzeichen in CSS** — `content: "\u0015B8"` statt
133
- `\25B8`; im Browser wurde daraus ein Ersatzkästchen.
134
-
135
- Die Lehre steht in jeder Modellkarte der Familie: **erst den Prüfer gegen echte
136
- Daten halten, dann dem Ergebnis glauben.**
137
-
138
- ---
139
-
140
- ## Unterstützen
141
-
142
- Wenn dir das Projekt hilft:
143
- **[paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61](https://www.paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61)**
144
-
145
- ## Lizenz
146
-
147
- Apache-2.0, wie das Basismodell. Nutzung auf eigenem Gerät, ohne Telemetrie.
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - de
5
+ - bs
6
+ - hr
7
+ - sr
8
+ - en
9
+ base_model: mistralai/Mistral-Small-24B-Instruct-2501
10
+ tags:
11
+ - gguf
12
+ - ollama
13
+ - llama.cpp
14
+ - on-device
15
+ - pro
16
+ - german
17
+ - bosnian
18
+ library_name: llama.cpp
19
+ ---
20
+
21
+ # OpenAmer-Max-Pro — 24B, vierte Stufe nach der Desktop-Stufe in der Größentreppe
22
+
23
+ **Die fünfte Stufe der OpenAmer-Max-Familie.** 24 B Parameter, Q4_K_M, 13,4 GB.
24
+ Läuft auf einem Rechner mit 16 GB freiem Speicher plus RAM — lokal, ohne Konto,
25
+ ohne Cloud.
26
+
27
+ Diese Stufe ist die erste, bei der **Größe nicht mehr automatisch Qualität
28
+ bedeutet**: sie liegt auf unserem Prüfstand unter der Desktop-Stufe. Das steht
29
+ unten ausdrücklich, weil es die wichtigste Eigenschaft dieses Modells ist.
30
+
31
+ ---
32
+
33
+ ## Messwerte — aus dem Lauf, nicht geschätzt
34
+
35
+ | Kennzahl | Wert |
36
+ |---|---|
37
+ | Basis | `mistralai/Mistral-Small-24B-Instruct-2501` (Apache-2.0) |
38
+ | Parameter | 24 B |
39
+ | Quantisierung | Q4_K_M, 13,35 GB |
40
+ | Adapter | QLoRA 4-bit, r=32, alpha=64 |
41
+ | Training | HF Jobs, L40S 48 GB, 170 Schritte, **37 Minuten** |
42
+ | VRAM-Spitze beim Training | **19,46 GB** |
43
+ | **Prüfstand v2 (45 Fälle)** | **43/45 = 95,6 %** |
44
+
45
+ ### Vergleich aller Stufen auf demselben Prüfstand
46
+
47
+ | Stufe | Parameter | Größe | Prüfstand v2 (45) |
48
+ |---|---|---|---|
49
+ | Watch | 0,60 B | 639 MB | 37/45 (82,2 %) |
50
+ | Phone | 3,09 B | 2,5 GB | 43/45 (95,6 %) |
51
+ | Tab | 7,62 B | 4,4 GB | 42/45 (93,3 %) |
52
+ | **Desktop** | 14,70 B | 8,4 GB | **44/45 (97,8 %)** |
53
+ | **Pro** | **24,00 B** | **13,4 GB** | **43/45 (95,6 %)** |
54
+ | — Basis Qwen2.5-14B ohne Training | 14,70 B | — | 22/45 (48,9 %) |
55
+
56
+ **Pro ist nicht besser als Desktop.** Sechs Parameter mehr, 5 GB mehr Speicher —
57
+ und ein Punkt weniger. Wer das Gegenteil behauptet, hat nicht gemessen.
58
+
59
+ ---
60
+
61
+ ## Die zwei Fehler, vollständig
62
+
63
+ | Frage | Antwort | Bewertung |
64
+ |---|---|---|
65
+ | „Wo werden meine Daten gespeichert?" | „Deine Daten bleiben bei dir, es entstehen keine laufenden Cloudkosten, und du bist nicht von einem Anbieter abhängig…" | inhaltlich richtig, aber ohne die erwarteten Wörter (Rechner / lokal / Benutzerprofil) |
66
+ | „Ein Wort: Ist OpenAmer kostenlos?" | „Nichts. OpenAmer ist Open Source und läuft lokal. Es gibt keine Abos und keine Cloudkosten." | **echter Fehler** — die Anweisung „ein Wort" wurde ignoriert |
67
+
68
+ Zwei Fehler von 45. Einer ist ein Formfehler (Anweisung nicht befolgt), einer ein
69
+ Wortlautfehler bei richtiger Aussage. Keine Halluzination, kein Faktenfehler.
70
+
71
+ ---
72
+
73
+ ## Quick start (Ollama)
74
+
75
+ **One command — no GGUF download, no Modelfile:**
76
+
77
+ ```bash
78
+ ollama run amersacirovic/openamer-max-pro
79
+ ```
80
+
81
+ Also on [ollama.com](https://ollama.com/amersacirovic/openamer-max-pro) — the same weights, served by Ollama's registry.
82
+
83
+ <sub>Below: the manual route with the bare GGUF, if you prefer to keep the file.</sub>
84
+
85
+ ```bash
86
+ # mit Ollama
87
+ ollama run amersacirovic/openamer-max-pro
88
+
89
+ # Modelfile
90
+ FROM ./openamer-max-pro-q4.gguf
91
+ PARAMETER temperature 0
92
+ PARAMETER repeat_penalty 1.0
93
+ PARAMETER num_ctx 8192
94
+ ```
95
+
96
+ ### Zwei Einstellungen, die nicht verhandelbar sind
97
+
98
+ **`repeat_penalty 1.0`.** Mit 1.1 drehte das Modell eine Verneinung um („läuft
99
+ nicht auf Android" statt „läuft nicht auf iOS"). Das ist kein Quantisierungs- und
100
+ kein Trainingsfehler — es war unsere eigene Einstellung. Alle Modelfiles der
101
+ Familie stehen deshalb auf 1.0.
102
+
103
+ **`temperature 0`.** Für Faktenfragen. Das Modell ist auf knappe, korrekte
104
+ Antworten trainiert; Sampling macht daraus Rätselraten.
105
+
106
+ ---
107
+
108
+ ## Grenzen — was dieses Modell nicht kann
109
+
110
+ - **Kein Werkzeug-Agent.** Im PLE-Harness-Test hat es eine einfache Datei-Aufgabe
111
+ bestanden (Smoke-Test), aber einen MCP-Aufruf nicht ausgeführt. Für Agentenarbeit
112
+ ist es zu klein.
113
+ - **Englische Ingenieursarbeit ist nicht seine Stärke.** Der Prüfstand misst
114
+ Produktwissen über OpenAmer, nicht Fachdomänen.
115
+ - **Kein Ersatz für ein Frontier-Modell.** Auf einem öffentlichen
116
+ Ingenieurs-Benchmark erreicht das beste offene Modell der Welt 26 von 100; dieses
117
+ Modell ist deutlich kleiner.
118
+ - **Nur zwei Sprachen wirklich trainiert**: Deutsch und Bosnisch/Kroatisch/Serbisch.
119
+ Englisch funktioniert, ist aber nicht der Schwerpunkt.
120
+
121
+ ---
122
+
123
+ ## Wie gemessen wurde
124
+
125
+ Eingefrorener Prüfstand mit 45 Fällen (elf Kategorien: Fakt, Paraphrase,
126
+ Stopp-Fragen, Bosnisch, Bosnisch-Stopp, Langtext, Kurzantwort, Grenzfälle), Bewertung
127
+ über Pflicht- und Verbotsgruppen. Der Satz liegt unverändert im Repository, damit
128
+ Zahlen zwischen Stufen vergleichbar bleiben.
129
+
130
+ **Sechs Prüfer-Fehler in dieser Messreihe, alle belegt und behoben:**
131
+
132
+ 1. **Flache Verbotsliste zeichenweise gelesen** — `millionen` wurde zu `m`,`i`,`l`,…,
133
+ und das `n` traf jedes „nicht". Fünf korrekte Antworten wurden als Fehler gezählt.
134
+ (Zweimal aufgetreten: im Trainings-Kernel und im Messskript.)
135
+ 2. **Byte-Vergleich statt Inhaltsvergleich** — Git normalisiert CRLF→LF, dadurch
136
+ schlug eine „nicht identisch"-Meldung fehl, obwohl der Inhalt gleich war.
137
+ 3. **`\r` als Steuerzeichen gezählt** — ein Zeilenumbruch in einer CRLF-Datei wurde
138
+ als Bug gemeldet.
139
+ 4. **Prüfmuster zu eng formuliert** — gesucht wurde „25 von 100", im Text stand
140
+ „25 Punkten"; gleiche Aussage, falsch geprüft.
141
+ 5. **Groß-/Kleinschreibung** — „two of the four" traf „Two of the four" nicht.
142
+ 6. **Steuerzeichen statt Sonderzeichen in CSS** — `content: "\u0015B8"` statt
143
+ `\25B8`; im Browser wurde daraus ein Ersatzkästchen.
144
+
145
+ Die Lehre steht in jeder Modellkarte der Familie: **erst den Prüfer gegen echte
146
+ Daten halten, dann dem Ergebnis glauben.**
147
+
148
+ ---
149
+
150
+ ## Unterstützen
151
+
152
+ Wenn dir das Projekt hilft:
153
+ **[paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61](https://www.paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61)**
154
+
155
+ ## Lizenz
156
+
157
+ Apache-2.0, wie das Basismodell. Nutzung auf eigenem Gerät, ohne Telemetrie.