--- license: apache-2.0 language: - de - bs - hr - sr - en base_model: mistralai/Mistral-Small-24B-Instruct-2501 tags: - gguf - ollama - llama.cpp - on-device - pro - german - bosnian library_name: llama.cpp --- # OpenAmer-Pro — 24B, vierte Stufe nach der Desktop-Stufe in der Größentreppe --- **Passt dieses Modell auf dein Geraet?** Der Geraetepass listet fuer jedes Modell Dateigroesse, RAM-Bedarf, Pruefstand-Ergebnis und Antwortzeit - und ob der Wert gemessen oder nur gerechnet ist: [openamer-max.github.io/geraetepass](https://openamer-max.github.io/geraetepass/) | Modell | Parameter | Groesse | RAM | Pruefstand | |---|---|---|---|---| | Watch | 0,6B | 639 MB | ~1,5 GB | 45/45 | | Phone | 3,1B | 2,5 GB | ~3,5 GB | 43/45 | | Tab | 7,6B | 4,4 GB | ~6 GB | 42/45 | | Desktop | 14,7B | 8,4 GB | ~10 GB | 44/45 | | Pro | 24B | 13 GB | ~16 GB | 43/45 | | Ultra | 32B | 19 GB | ~22 GB | 41/45 | | VL-8B | 8,2B | 4,7 GB | ~6 GB (8 GB VRAM gemessen) | multimodal | **Links:** [Website](https://openamer-max.github.io) · [Uebersetzungs-API, 138 Sprachen, kostenlos](https://openamer-max-openamer-translate.hf.space/health) · [Quellcode](https://github.com/openamer-max/openamer) Nutzung unter Apache-2.0. --- **Die fünfte Stufe der OpenAmer-Familie.** 24 B Parameter, Q4_K_M, 13,4 GB. Läuft auf einem Rechner mit 16 GB freiem Speicher plus RAM — lokal, ohne Konto, ohne Cloud. Diese Stufe ist die erste, bei der **Größe nicht mehr automatisch Qualität bedeutet**: sie liegt auf unserem Prüfstand unter der Desktop-Stufe. Das steht unten ausdrücklich, weil es die wichtigste Eigenschaft dieses Modells ist. --- ## Messwerte — aus dem Lauf, nicht geschätzt | Kennzahl | Wert | |---|---| | Basis | `mistralai/Mistral-Small-24B-Instruct-2501` (Apache-2.0) | | Parameter | 24 B | | Quantisierung | Q4_K_M, 13,35 GB | | Adapter | QLoRA 4-bit, r=32, alpha=64 | | Training | HF Jobs, L40S 48 GB, 170 Schritte, **37 Minuten** | | VRAM-Spitze beim Training | **19,46 GB** | | **Prüfstand v2 (45 Fälle)** | **43/45 = 95,6 %** | ### Vergleich aller Stufen auf demselben Prüfstand | Stufe | Parameter | Größe | Prüfstand v2 (45) | |---|---|---|---| | Watch | 0,60 B | 639 MB | 37/45 (82,2 %) | | Phone | 3,09 B | 2,5 GB | 43/45 (95,6 %) | | Tab | 7,62 B | 4,4 GB | 42/45 (93,3 %) | | **Desktop** | 14,70 B | 8,4 GB | **44/45 (97,8 %)** | | **Pro** | **24,00 B** | **13,4 GB** | **43/45 (95,6 %)** | | — Basis Qwen2.5-14B ohne Training | 14,70 B | — | 22/45 (48,9 %) | **Pro ist nicht besser als Desktop.** Sechs Parameter mehr, 5 GB mehr Speicher — und ein Punkt weniger. Wer das Gegenteil behauptet, hat nicht gemessen. --- ## Die zwei Fehler, vollständig | Frage | Antwort | Bewertung | |---|---|---| | „Wo werden meine Daten gespeichert?" | „Deine Daten bleiben bei dir, es entstehen keine laufenden Cloudkosten, und du bist nicht von einem Anbieter abhängig…" | inhaltlich richtig, aber ohne die erwarteten Wörter (Rechner / lokal / Benutzerprofil) | | „Ein Wort: Ist OpenAmer kostenlos?" | „Nichts. OpenAmer ist Open Source und läuft lokal. Es gibt keine Abos und keine Cloudkosten." | **echter Fehler** — die Anweisung „ein Wort" wurde ignoriert | Zwei Fehler von 45. Einer ist ein Formfehler (Anweisung nicht befolgt), einer ein Wortlautfehler bei richtiger Aussage. Keine Halluzination, kein Faktenfehler. --- ## Quick start (Ollama) **One command — no GGUF download, no Modelfile:** ```bash ollama run amersacirovic/openamer-max-pro ``` Also on [ollama.com](https://ollama.com/amersacirovic/openamer-max-pro) — the same weights, served by Ollama's registry. **Try it in the browser** (free, zero setup): [OpenAmer demo](https://openamer-max-openamer-max-demo.hf.space) — Desktop and Pro run live on ZeroGPU. **Benchmark:** all tiers were measured on the same frozen [45-case set](https://huggingface.co/datasets/openamer-max/openamer-max-benchmark). Below: the manual route with the bare GGUF, if you prefer to keep the file. ```bash # mit Ollama ollama run amersacirovic/openamer-max-pro # Modelfile FROM ./openamer-max-pro-q4.gguf PARAMETER temperature 0 PARAMETER repeat_penalty 1.0 PARAMETER num_ctx 8192 ``` ### Zwei Einstellungen, die nicht verhandelbar sind **`repeat_penalty 1.0`.** Mit 1.1 drehte das Modell eine Verneinung um („läuft nicht auf Android" statt „läuft nicht auf iOS"). Das ist kein Quantisierungs- und kein Trainingsfehler — es war unsere eigene Einstellung. Alle Modelfiles der Familie stehen deshalb auf 1.0. **`temperature 0`.** Für Faktenfragen. Das Modell ist auf knappe, korrekte Antworten trainiert; Sampling macht daraus Rätselraten. --- ## Grenzen — was dieses Modell nicht kann - **Kein Werkzeug-Agent.** Im PLE-Harness-Test hat es eine einfache Datei-Aufgabe bestanden (Smoke-Test), aber einen MCP-Aufruf nicht ausgeführt. Für Agentenarbeit ist es zu klein. - **Englische Ingenieursarbeit ist nicht seine Stärke.** Der Prüfstand misst Produktwissen über OpenAmer, nicht Fachdomänen. - **Kein Ersatz für ein Frontier-Modell.** Auf einem öffentlichen Ingenieurs-Benchmark erreicht das beste offene Modell der Welt 26 von 100; dieses Modell ist deutlich kleiner. - **Nur zwei Sprachen wirklich trainiert**: Deutsch und Bosnisch/Kroatisch/Serbisch. Englisch funktioniert, ist aber nicht der Schwerpunkt. --- ## Wie gemessen wurde Eingefrorener Prüfstand mit 45 Fällen (elf Kategorien: Fakt, Paraphrase, Stopp-Fragen, Bosnisch, Bosnisch-Stopp, Langtext, Kurzantwort, Grenzfälle), Bewertung über Pflicht- und Verbotsgruppen. Der Satz liegt unverändert im Repository, damit Zahlen zwischen Stufen vergleichbar bleiben. **Sechs Prüfer-Fehler in dieser Messreihe, alle belegt und behoben:** 1. **Flache Verbotsliste zeichenweise gelesen** — `millionen` wurde zu `m`,`i`,`l`,…, und das `n` traf jedes „nicht". Fünf korrekte Antworten wurden als Fehler gezählt. (Zweimal aufgetreten: im Trainings-Kernel und im Messskript.) 2. **Byte-Vergleich statt Inhaltsvergleich** — Git normalisiert CRLF→LF, dadurch schlug eine „nicht identisch"-Meldung fehl, obwohl der Inhalt gleich war. 3. **`\r` als Steuerzeichen gezählt** — ein Zeilenumbruch in einer CRLF-Datei wurde als Bug gemeldet. 4. **Prüfmuster zu eng formuliert** — gesucht wurde „25 von 100", im Text stand „25 Punkten"; gleiche Aussage, falsch geprüft. 5. **Groß-/Kleinschreibung** — „two of the four" traf „Two of the four" nicht. 6. **Steuerzeichen statt Sonderzeichen in CSS** — `content: "\u0015B8"` statt `\25B8`; im Browser wurde daraus ein Ersatzkästchen. Die Lehre steht in jeder Modellkarte der Familie: **erst den Prüfer gegen echte Daten halten, dann dem Ergebnis glauben.** --- ## Unterstützen Wenn dir das Projekt hilft: **[paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61](https://www.paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61)** ## Lizenz Apache-2.0, wie das Basismodell. Nutzung auf eigenem Gerät, ohne Telemetrie. ## Auf Android Der Agent läuft auch auf dem Telefon — nicht ferngesteuert, sondern im Debian-Userspace mit denselben Werkzeugen und Skills. Launcher-APK, gemessene Version und ehrliche Grenzen: Agent-Quellcode: ## Kontext - **Maximum (Trainingskontext):** 32.768 Token - **Gemessen größter Treffer:** 25.336 Token (77 % des Maximums) - Verfahren: Fakt an 50 % Tiefe, Kontextfenster mit Reserve, Temperatur 0 — [Bericht](https://github.com/openamer-max/models/blob/main/docs/KONTEXT-MESSUNG.md) - Ollama deckelt hier wegen Speicher; 77 % des Maximums. **Für OpenAmer Agent zu wenig:** der Agent verlangt mindestens 64.000 Token Kontext. Diese Stufe trägt den Agenten nicht — für Chat und API-Aufrufe ist sie vollständig nutzbar.