openamer-max-server / README.md
openamer-max's picture
OpenAI-kompatible Schnittstelle fuer Desktop/Pro/Ultra
c12b850 verified
|
Raw History Blame Contribute Delete
1.13 kB

A newer version of the Gradio SDK is available: 6.32.0

Upgrade
metadata
title: OpenAmer Server
emoji: 🛰
colorFrom: indigo
colorTo: purple
sdk: gradio
sdk_version: 5.14.0
app_file: app.py
pinned: false
license: apache-2.0
short_description: OpenAI-kompatible Schnittstelle ohne Schlüssel

OpenAmer-Server

POST /v1/chat/completions — dieselbe Schnittstelle, die die Web-App nutzt. Kein API-Key, kein Konto.

Modell Parameter Prüfstand (45 Fälle)
desktop 14,70B 44/45 (97,8 %)
pro 24,00B 43/45 (95,6 %)
ultra 32,00B 41/45 (91,1 %)

Der erste Aufruf einer Stufe lädt das Modell (etwa eine Minute). Die kleinste Stufe (watch, 0,6B) läuft auf einem eigenen CPU-Server und antwortet sofort.

Aufruf

curl -X POST "$URL/v1/chat/completions" \
  -H 'Content-Type: application/json' \
  -d '{"model":"desktop","messages":[{"role":"user","content":"Was ist OpenAmer?"}]}'

Oberfläche für Menschen: /ui

Grenzen

  • ZeroGPU teilt die Grafikkarte pro Anfrage zu — keine Dauerlast, Tageskontingent
  • Beim ersten Aufruf einer Stufe: Modell laden, rund eine Minute
  • Eine Stufe zur Zeit im Speicher; ein Wechsel lädt neu