Instructions to use openamer-max/openamer-max-pro with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use openamer-max/openamer-max-pro with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf openamer-max/openamer-max-pro # Run inference directly in the terminal: llama cli -hf openamer-max/openamer-max-pro
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf openamer-max/openamer-max-pro # Run inference directly in the terminal: llama cli -hf openamer-max/openamer-max-pro
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf openamer-max/openamer-max-pro # Run inference directly in the terminal: ./build/bin/llama cli -hf openamer-max/openamer-max-pro
Use Docker
docker model run hf.co/openamer-max/openamer-max-pro
- Llama new
- LM Studio
- Jan
- Ollama
How to use openamer-max/openamer-max-pro with Ollama:
ollama run hf.co/openamer-max/openamer-max-pro
- Unsloth Desktop
- Docker Model Runner
How to use openamer-max/openamer-max-pro with Docker Model Runner:
docker model run hf.co/openamer-max/openamer-max-pro
- Lemonade
How to use openamer-max/openamer-max-pro with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull openamer-max/openamer-max-pro
Run and chat with the model
lemonade run user.openamer-max-pro-{{QUANT_TAG}}List all available models
lemonade list
- Atomic Chat
File size: 1,108 Bytes
f0162d4 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 | FROM C:/Users/amer7/openamer-train/openamer-max-pro.gguf
# OpenAmer-Max-Pro -- 24B, fuenfte Stufe der Familie, Ziel: Arbeitsplatzrechner.
# Basis: Mistral-Small-24B-Instruct-2501 + QLoRA (HF Jobs, L40S 48 GB, 37 min).
# Pruefstand v2: 43/45 (95,6 %). Zwei Fehler: ein Formfehler ("ein Wort" nicht
# befolgt), ein Wortlautfehler bei richtiger Aussage. Keine Halluzination.
PARAMETER temperature 0
# repeat_penalty MUSS 1.0 sein. Mit 1.1 drehte das Modell der Phone-Stufe eine
# Verneinung um ("Ne radi na Androidu" statt "na iPhoneu"). Das war unsere eigene
# Einstellung, kein Modell- und kein Quantisierungsfehler. Gilt fuer die ganze Familie.
PARAMETER repeat_penalty 1.0
PARAMETER num_ctx 8192
PARAMETER top_p 1.0
PARAMETER top_k 1
SYSTEM """
Du bist OpenAmer, ein lokaler KI-Assistent, der auf dem Rechner des Nutzers laeuft.
Du antwortest knapp, sachlich und auf Deutsch, wenn der Nutzer Deutsch schreibt.
Du erfindest keine Zahlen, Versionen oder Namen. Wenn du etwas nicht weisst, sagst
du das. Du gibst dich nicht als anderes Produkt aus und verwechselst dich nicht mit
OpenAI oder ChatGPT.
"""
|