openamer-max-pro / README.md
openamer-max's picture
docs: Geraetepass, Website und API verlinkt
3a313a6 verified
|
Raw History Blame Contribute Delete
7.91 kB
---
license: apache-2.0
language:
- de
- bs
- hr
- sr
- en
base_model: mistralai/Mistral-Small-24B-Instruct-2501
tags:
- gguf
- ollama
- llama.cpp
- on-device
- pro
- german
- bosnian
library_name: llama.cpp
---
# OpenAmer-Pro — 24B, vierte Stufe nach der Desktop-Stufe in der Größentreppe
---
**Passt dieses Modell auf dein Geraet?** Der Geraetepass listet fuer jedes Modell
Dateigroesse, RAM-Bedarf, Pruefstand-Ergebnis und Antwortzeit - und ob der Wert
gemessen oder nur gerechnet ist:
[openamer-max.github.io/geraetepass](https://openamer-max.github.io/geraetepass/)
| Modell | Parameter | Groesse | RAM | Pruefstand |
|---|---|---|---|---|
| Watch | 0,6B | 639 MB | ~1,5 GB | 45/45 |
| Phone | 3,1B | 2,5 GB | ~3,5 GB | 43/45 |
| Tab | 7,6B | 4,4 GB | ~6 GB | 42/45 |
| Desktop | 14,7B | 8,4 GB | ~10 GB | 44/45 |
| Pro | 24B | 13 GB | ~16 GB | 43/45 |
| Ultra | 32B | 19 GB | ~22 GB | 41/45 |
| VL-8B | 8,2B | 4,7 GB | ~6 GB (8 GB VRAM gemessen) | multimodal |
**Links:** [Website](https://openamer-max.github.io) ·
[Uebersetzungs-API, 138 Sprachen, kostenlos](https://openamer-max-openamer-translate.hf.space/health) ·
[Quellcode](https://github.com/openamer-max/openamer)
Nutzung unter Apache-2.0.
---
**Die fünfte Stufe der OpenAmer-Familie.** 24 B Parameter, Q4_K_M, 13,4 GB.
Läuft auf einem Rechner mit 16 GB freiem Speicher plus RAM — lokal, ohne Konto,
ohne Cloud.
Diese Stufe ist die erste, bei der **Größe nicht mehr automatisch Qualität
bedeutet**: sie liegt auf unserem Prüfstand unter der Desktop-Stufe. Das steht
unten ausdrücklich, weil es die wichtigste Eigenschaft dieses Modells ist.
---
## Messwerte — aus dem Lauf, nicht geschätzt
| Kennzahl | Wert |
|---|---|
| Basis | `mistralai/Mistral-Small-24B-Instruct-2501` (Apache-2.0) |
| Parameter | 24 B |
| Quantisierung | Q4_K_M, 13,35 GB |
| Adapter | QLoRA 4-bit, r=32, alpha=64 |
| Training | HF Jobs, L40S 48 GB, 170 Schritte, **37 Minuten** |
| VRAM-Spitze beim Training | **19,46 GB** |
| **Prüfstand v2 (45 Fälle)** | **43/45 = 95,6 %** |
### Vergleich aller Stufen auf demselben Prüfstand
| Stufe | Parameter | Größe | Prüfstand v2 (45) |
|---|---|---|---|
| Watch | 0,60 B | 639 MB | 37/45 (82,2 %) |
| Phone | 3,09 B | 2,5 GB | 43/45 (95,6 %) |
| Tab | 7,62 B | 4,4 GB | 42/45 (93,3 %) |
| **Desktop** | 14,70 B | 8,4 GB | **44/45 (97,8 %)** |
| **Pro** | **24,00 B** | **13,4 GB** | **43/45 (95,6 %)** |
| — Basis Qwen2.5-14B ohne Training | 14,70 B | — | 22/45 (48,9 %) |
**Pro ist nicht besser als Desktop.** Sechs Parameter mehr, 5 GB mehr Speicher —
und ein Punkt weniger. Wer das Gegenteil behauptet, hat nicht gemessen.
---
## Die zwei Fehler, vollständig
| Frage | Antwort | Bewertung |
|---|---|---|
| „Wo werden meine Daten gespeichert?" | „Deine Daten bleiben bei dir, es entstehen keine laufenden Cloudkosten, und du bist nicht von einem Anbieter abhängig…" | inhaltlich richtig, aber ohne die erwarteten Wörter (Rechner / lokal / Benutzerprofil) |
| „Ein Wort: Ist OpenAmer kostenlos?" | „Nichts. OpenAmer ist Open Source und läuft lokal. Es gibt keine Abos und keine Cloudkosten." | **echter Fehler** — die Anweisung „ein Wort" wurde ignoriert |
Zwei Fehler von 45. Einer ist ein Formfehler (Anweisung nicht befolgt), einer ein
Wortlautfehler bei richtiger Aussage. Keine Halluzination, kein Faktenfehler.
---
## Quick start (Ollama)
**One command — no GGUF download, no Modelfile:**
```bash
ollama run amersacirovic/openamer-max-pro
```
Also on [ollama.com](https://ollama.com/amersacirovic/openamer-max-pro) — the same weights, served by Ollama's registry.
**Try it in the browser** (free, zero setup): [OpenAmer demo](https://openamer-max-openamer-max-demo.hf.space) — Desktop and Pro run live on ZeroGPU.
**Benchmark:** all tiers were measured on the same frozen [45-case set](https://huggingface.co/datasets/openamer-max/openamer-max-benchmark).
<sub>Below: the manual route with the bare GGUF, if you prefer to keep the file.</sub>
```bash
# mit Ollama
ollama run amersacirovic/openamer-max-pro
# Modelfile
FROM ./openamer-max-pro-q4.gguf
PARAMETER temperature 0
PARAMETER repeat_penalty 1.0
PARAMETER num_ctx 8192
```
### Zwei Einstellungen, die nicht verhandelbar sind
**`repeat_penalty 1.0`.** Mit 1.1 drehte das Modell eine Verneinung um („läuft
nicht auf Android" statt „läuft nicht auf iOS"). Das ist kein Quantisierungs- und
kein Trainingsfehler — es war unsere eigene Einstellung. Alle Modelfiles der
Familie stehen deshalb auf 1.0.
**`temperature 0`.** Für Faktenfragen. Das Modell ist auf knappe, korrekte
Antworten trainiert; Sampling macht daraus Rätselraten.
---
## Grenzen — was dieses Modell nicht kann
- **Kein Werkzeug-Agent.** Im PLE-Harness-Test hat es eine einfache Datei-Aufgabe
bestanden (Smoke-Test), aber einen MCP-Aufruf nicht ausgeführt. Für Agentenarbeit
ist es zu klein.
- **Englische Ingenieursarbeit ist nicht seine Stärke.** Der Prüfstand misst
Produktwissen über OpenAmer, nicht Fachdomänen.
- **Kein Ersatz für ein Frontier-Modell.** Auf einem öffentlichen
Ingenieurs-Benchmark erreicht das beste offene Modell der Welt 26 von 100; dieses
Modell ist deutlich kleiner.
- **Nur zwei Sprachen wirklich trainiert**: Deutsch und Bosnisch/Kroatisch/Serbisch.
Englisch funktioniert, ist aber nicht der Schwerpunkt.
---
## Wie gemessen wurde
Eingefrorener Prüfstand mit 45 Fällen (elf Kategorien: Fakt, Paraphrase,
Stopp-Fragen, Bosnisch, Bosnisch-Stopp, Langtext, Kurzantwort, Grenzfälle), Bewertung
über Pflicht- und Verbotsgruppen. Der Satz liegt unverändert im Repository, damit
Zahlen zwischen Stufen vergleichbar bleiben.
**Sechs Prüfer-Fehler in dieser Messreihe, alle belegt und behoben:**
1. **Flache Verbotsliste zeichenweise gelesen** — `millionen` wurde zu `m`,`i`,`l`,…,
und das `n` traf jedes „nicht". Fünf korrekte Antworten wurden als Fehler gezählt.
(Zweimal aufgetreten: im Trainings-Kernel und im Messskript.)
2. **Byte-Vergleich statt Inhaltsvergleich** — Git normalisiert CRLF→LF, dadurch
schlug eine „nicht identisch"-Meldung fehl, obwohl der Inhalt gleich war.
3. **`\r` als Steuerzeichen gezählt** — ein Zeilenumbruch in einer CRLF-Datei wurde
als Bug gemeldet.
4. **Prüfmuster zu eng formuliert** — gesucht wurde „25 von 100", im Text stand
„25 Punkten"; gleiche Aussage, falsch geprüft.
5. **Groß-/Kleinschreibung** — „two of the four" traf „Two of the four" nicht.
6. **Steuerzeichen statt Sonderzeichen in CSS** — `content: "\u0015B8"` statt
`\25B8`; im Browser wurde daraus ein Ersatzkästchen.
Die Lehre steht in jeder Modellkarte der Familie: **erst den Prüfer gegen echte
Daten halten, dann dem Ergebnis glauben.**
---
## Unterstützen
Wenn dir das Projekt hilft:
**[paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61](https://www.paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61)**
## Lizenz
Apache-2.0, wie das Basismodell. Nutzung auf eigenem Gerät, ohne Telemetrie.
## Auf Android
Der Agent läuft auch auf dem Telefon — nicht ferngesteuert, sondern im
Debian-Userspace mit denselben Werkzeugen und Skills. Launcher-APK, gemessene
Version und ehrliche Grenzen:
<https://openamer-max.github.io/android.html>
Agent-Quellcode: <https://github.com/openamer-max/openamer>
## Kontext
- **Maximum (Trainingskontext):** 32.768 Token
- **Gemessen größter Treffer:** 25.336 Token (77 % des Maximums)
- Verfahren: Fakt an 50 % Tiefe, Kontextfenster mit Reserve, Temperatur 0 — [Bericht](https://github.com/openamer-max/models/blob/main/docs/KONTEXT-MESSUNG.md)
- Ollama deckelt hier wegen Speicher; 77 % des Maximums.
**Für OpenAmer Agent zu wenig:** der Agent verlangt mindestens 64.000 Token Kontext. Diese Stufe trägt den Agenten nicht — für Chat und API-Aufrufe ist sie vollständig nutzbar.