Instructions to use openamer-max/openamer-max-pro with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use openamer-max/openamer-max-pro with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf openamer-max/openamer-max-pro # Run inference directly in the terminal: llama cli -hf openamer-max/openamer-max-pro
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf openamer-max/openamer-max-pro # Run inference directly in the terminal: llama cli -hf openamer-max/openamer-max-pro
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf openamer-max/openamer-max-pro # Run inference directly in the terminal: ./build/bin/llama cli -hf openamer-max/openamer-max-pro
Use Docker
docker model run hf.co/openamer-max/openamer-max-pro
- Llama new
- LM Studio
- Jan
- Ollama
How to use openamer-max/openamer-max-pro with Ollama:
ollama run hf.co/openamer-max/openamer-max-pro
- Unsloth Desktop
- Docker Model Runner
How to use openamer-max/openamer-max-pro with Docker Model Runner:
docker model run hf.co/openamer-max/openamer-max-pro
- Lemonade
How to use openamer-max/openamer-max-pro with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull openamer-max/openamer-max-pro
Run and chat with the model
lemonade run user.openamer-max-pro-{{QUANT_TAG}}List all available models
lemonade list
- Atomic Chat
|
Download README.md from openamer-max/openamer-max-pro: direct link, hf CLI and curl.
- Browser
- Download file 7.91 kB
-
https://huggingface.co/openamer-max/openamer-max-pro/resolve/main/README.md
- Command line
-
hf download hf://openamer-max/openamer-max-pro/README.md
-
curl -L -o README.md https://huggingface.co/openamer-max/openamer-max-pro/resolve/main/README.md
7.91 kB
| license: apache-2.0 | |
| language: | |
| - de | |
| - bs | |
| - hr | |
| - sr | |
| - en | |
| base_model: mistralai/Mistral-Small-24B-Instruct-2501 | |
| tags: | |
| - gguf | |
| - ollama | |
| - llama.cpp | |
| - on-device | |
| - pro | |
| - german | |
| - bosnian | |
| library_name: llama.cpp | |
| # OpenAmer-Pro — 24B, vierte Stufe nach der Desktop-Stufe in der Größentreppe | |
| --- | |
| **Passt dieses Modell auf dein Geraet?** Der Geraetepass listet fuer jedes Modell | |
| Dateigroesse, RAM-Bedarf, Pruefstand-Ergebnis und Antwortzeit - und ob der Wert | |
| gemessen oder nur gerechnet ist: | |
| [openamer-max.github.io/geraetepass](https://openamer-max.github.io/geraetepass/) | |
| | Modell | Parameter | Groesse | RAM | Pruefstand | | |
| |---|---|---|---|---| | |
| | Watch | 0,6B | 639 MB | ~1,5 GB | 45/45 | | |
| | Phone | 3,1B | 2,5 GB | ~3,5 GB | 43/45 | | |
| | Tab | 7,6B | 4,4 GB | ~6 GB | 42/45 | | |
| | Desktop | 14,7B | 8,4 GB | ~10 GB | 44/45 | | |
| | Pro | 24B | 13 GB | ~16 GB | 43/45 | | |
| | Ultra | 32B | 19 GB | ~22 GB | 41/45 | | |
| | VL-8B | 8,2B | 4,7 GB | ~6 GB (8 GB VRAM gemessen) | multimodal | | |
| **Links:** [Website](https://openamer-max.github.io) · | |
| [Uebersetzungs-API, 138 Sprachen, kostenlos](https://openamer-max-openamer-translate.hf.space/health) · | |
| [Quellcode](https://github.com/openamer-max/openamer) | |
| Nutzung unter Apache-2.0. | |
| --- | |
| **Die fünfte Stufe der OpenAmer-Familie.** 24 B Parameter, Q4_K_M, 13,4 GB. | |
| Läuft auf einem Rechner mit 16 GB freiem Speicher plus RAM — lokal, ohne Konto, | |
| ohne Cloud. | |
| Diese Stufe ist die erste, bei der **Größe nicht mehr automatisch Qualität | |
| bedeutet**: sie liegt auf unserem Prüfstand unter der Desktop-Stufe. Das steht | |
| unten ausdrücklich, weil es die wichtigste Eigenschaft dieses Modells ist. | |
| --- | |
| ## Messwerte — aus dem Lauf, nicht geschätzt | |
| | Kennzahl | Wert | | |
| |---|---| | |
| | Basis | `mistralai/Mistral-Small-24B-Instruct-2501` (Apache-2.0) | | |
| | Parameter | 24 B | | |
| | Quantisierung | Q4_K_M, 13,35 GB | | |
| | Adapter | QLoRA 4-bit, r=32, alpha=64 | | |
| | Training | HF Jobs, L40S 48 GB, 170 Schritte, **37 Minuten** | | |
| | VRAM-Spitze beim Training | **19,46 GB** | | |
| | **Prüfstand v2 (45 Fälle)** | **43/45 = 95,6 %** | | |
| ### Vergleich aller Stufen auf demselben Prüfstand | |
| | Stufe | Parameter | Größe | Prüfstand v2 (45) | | |
| |---|---|---|---| | |
| | Watch | 0,60 B | 639 MB | 37/45 (82,2 %) | | |
| | Phone | 3,09 B | 2,5 GB | 43/45 (95,6 %) | | |
| | Tab | 7,62 B | 4,4 GB | 42/45 (93,3 %) | | |
| | **Desktop** | 14,70 B | 8,4 GB | **44/45 (97,8 %)** | | |
| | **Pro** | **24,00 B** | **13,4 GB** | **43/45 (95,6 %)** | | |
| | — Basis Qwen2.5-14B ohne Training | 14,70 B | — | 22/45 (48,9 %) | | |
| **Pro ist nicht besser als Desktop.** Sechs Parameter mehr, 5 GB mehr Speicher — | |
| und ein Punkt weniger. Wer das Gegenteil behauptet, hat nicht gemessen. | |
| --- | |
| ## Die zwei Fehler, vollständig | |
| | Frage | Antwort | Bewertung | | |
| |---|---|---| | |
| | „Wo werden meine Daten gespeichert?" | „Deine Daten bleiben bei dir, es entstehen keine laufenden Cloudkosten, und du bist nicht von einem Anbieter abhängig…" | inhaltlich richtig, aber ohne die erwarteten Wörter (Rechner / lokal / Benutzerprofil) | | |
| | „Ein Wort: Ist OpenAmer kostenlos?" | „Nichts. OpenAmer ist Open Source und läuft lokal. Es gibt keine Abos und keine Cloudkosten." | **echter Fehler** — die Anweisung „ein Wort" wurde ignoriert | | |
| Zwei Fehler von 45. Einer ist ein Formfehler (Anweisung nicht befolgt), einer ein | |
| Wortlautfehler bei richtiger Aussage. Keine Halluzination, kein Faktenfehler. | |
| --- | |
| ## Quick start (Ollama) | |
| **One command — no GGUF download, no Modelfile:** | |
| ```bash | |
| ollama run amersacirovic/openamer-max-pro | |
| ``` | |
| Also on [ollama.com](https://ollama.com/amersacirovic/openamer-max-pro) — the same weights, served by Ollama's registry. | |
| **Try it in the browser** (free, zero setup): [OpenAmer demo](https://openamer-max-openamer-max-demo.hf.space) — Desktop and Pro run live on ZeroGPU. | |
| **Benchmark:** all tiers were measured on the same frozen [45-case set](https://huggingface.co/datasets/openamer-max/openamer-max-benchmark). | |
| <sub>Below: the manual route with the bare GGUF, if you prefer to keep the file.</sub> | |
| ```bash | |
| # mit Ollama | |
| ollama run amersacirovic/openamer-max-pro | |
| # Modelfile | |
| FROM ./openamer-max-pro-q4.gguf | |
| PARAMETER temperature 0 | |
| PARAMETER repeat_penalty 1.0 | |
| PARAMETER num_ctx 8192 | |
| ``` | |
| ### Zwei Einstellungen, die nicht verhandelbar sind | |
| **`repeat_penalty 1.0`.** Mit 1.1 drehte das Modell eine Verneinung um („läuft | |
| nicht auf Android" statt „läuft nicht auf iOS"). Das ist kein Quantisierungs- und | |
| kein Trainingsfehler — es war unsere eigene Einstellung. Alle Modelfiles der | |
| Familie stehen deshalb auf 1.0. | |
| **`temperature 0`.** Für Faktenfragen. Das Modell ist auf knappe, korrekte | |
| Antworten trainiert; Sampling macht daraus Rätselraten. | |
| --- | |
| ## Grenzen — was dieses Modell nicht kann | |
| - **Kein Werkzeug-Agent.** Im PLE-Harness-Test hat es eine einfache Datei-Aufgabe | |
| bestanden (Smoke-Test), aber einen MCP-Aufruf nicht ausgeführt. Für Agentenarbeit | |
| ist es zu klein. | |
| - **Englische Ingenieursarbeit ist nicht seine Stärke.** Der Prüfstand misst | |
| Produktwissen über OpenAmer, nicht Fachdomänen. | |
| - **Kein Ersatz für ein Frontier-Modell.** Auf einem öffentlichen | |
| Ingenieurs-Benchmark erreicht das beste offene Modell der Welt 26 von 100; dieses | |
| Modell ist deutlich kleiner. | |
| - **Nur zwei Sprachen wirklich trainiert**: Deutsch und Bosnisch/Kroatisch/Serbisch. | |
| Englisch funktioniert, ist aber nicht der Schwerpunkt. | |
| --- | |
| ## Wie gemessen wurde | |
| Eingefrorener Prüfstand mit 45 Fällen (elf Kategorien: Fakt, Paraphrase, | |
| Stopp-Fragen, Bosnisch, Bosnisch-Stopp, Langtext, Kurzantwort, Grenzfälle), Bewertung | |
| über Pflicht- und Verbotsgruppen. Der Satz liegt unverändert im Repository, damit | |
| Zahlen zwischen Stufen vergleichbar bleiben. | |
| **Sechs Prüfer-Fehler in dieser Messreihe, alle belegt und behoben:** | |
| 1. **Flache Verbotsliste zeichenweise gelesen** — `millionen` wurde zu `m`,`i`,`l`,…, | |
| und das `n` traf jedes „nicht". Fünf korrekte Antworten wurden als Fehler gezählt. | |
| (Zweimal aufgetreten: im Trainings-Kernel und im Messskript.) | |
| 2. **Byte-Vergleich statt Inhaltsvergleich** — Git normalisiert CRLF→LF, dadurch | |
| schlug eine „nicht identisch"-Meldung fehl, obwohl der Inhalt gleich war. | |
| 3. **`\r` als Steuerzeichen gezählt** — ein Zeilenumbruch in einer CRLF-Datei wurde | |
| als Bug gemeldet. | |
| 4. **Prüfmuster zu eng formuliert** — gesucht wurde „25 von 100", im Text stand | |
| „25 Punkten"; gleiche Aussage, falsch geprüft. | |
| 5. **Groß-/Kleinschreibung** — „two of the four" traf „Two of the four" nicht. | |
| 6. **Steuerzeichen statt Sonderzeichen in CSS** — `content: "\u0015B8"` statt | |
| `\25B8`; im Browser wurde daraus ein Ersatzkästchen. | |
| Die Lehre steht in jeder Modellkarte der Familie: **erst den Prüfer gegen echte | |
| Daten halten, dann dem Ergebnis glauben.** | |
| --- | |
| ## Unterstützen | |
| Wenn dir das Projekt hilft: | |
| **[paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61](https://www.paypal.com/qrcodes/managed/bfb5b6b5-c04c-4836-af60-987dff8cff61)** | |
| ## Lizenz | |
| Apache-2.0, wie das Basismodell. Nutzung auf eigenem Gerät, ohne Telemetrie. | |
| ## Auf Android | |
| Der Agent läuft auch auf dem Telefon — nicht ferngesteuert, sondern im | |
| Debian-Userspace mit denselben Werkzeugen und Skills. Launcher-APK, gemessene | |
| Version und ehrliche Grenzen: | |
| <https://openamer-max.github.io/android.html> | |
| Agent-Quellcode: <https://github.com/openamer-max/openamer> | |
| ## Kontext | |
| - **Maximum (Trainingskontext):** 32.768 Token | |
| - **Gemessen größter Treffer:** 25.336 Token (77 % des Maximums) | |
| - Verfahren: Fakt an 50 % Tiefe, Kontextfenster mit Reserve, Temperatur 0 — [Bericht](https://github.com/openamer-max/models/blob/main/docs/KONTEXT-MESSUNG.md) | |
| - Ollama deckelt hier wegen Speicher; 77 % des Maximums. | |
| **Für OpenAmer Agent zu wenig:** der Agent verlangt mindestens 64.000 Token Kontext. Diese Stufe trägt den Agenten nicht — für Chat und API-Aufrufe ist sie vollständig nutzbar. | |