Instructions to use Maxinger15/LunaraHome-26B-A4B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Maxinger15/LunaraHome-26B-A4B with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Maxinger15/LunaraHome-26B-A4B")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("Maxinger15/LunaraHome-26B-A4B")
model = AutoModelForMultimodalLM.from_pretrained("Maxinger15/LunaraHome-26B-A4B", device_map="auto")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use Maxinger15/LunaraHome-26B-A4B with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Maxinger15/LunaraHome-26B-A4B"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Maxinger15/LunaraHome-26B-A4B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/Maxinger15/LunaraHome-26B-A4B

SGLang

How to use Maxinger15/LunaraHome-26B-A4B with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Maxinger15/LunaraHome-26B-A4B" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Maxinger15/LunaraHome-26B-A4B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Maxinger15/LunaraHome-26B-A4B" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Maxinger15/LunaraHome-26B-A4B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use Maxinger15/LunaraHome-26B-A4B with Docker Model Runner:
```
docker model run hf.co/Maxinger15/LunaraHome-26B-A4B
```
Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

🌙 LunaraHome 26B-A4B · v0.1

Sprich mit deinem Zuhause. LunaraHome verbindet natürliche Sprache mit deinen Smart-Home-Tools.

„Mach das Licht im Wohnzimmer etwas wärmer.“ „Läuft im Schlafzimmer noch Musik?“ Ein Sprachassistent sollte solche Wünsche verstehen, passende Geräte aus dem bereitgestellten Inventar auswählen und daraus strukturierte Toolaufrufe machen. Genau dafür entwickeln wir LunaraHome: eine deutschsprachige Home-Assistant- und Music-Assistant-Anpassung von Gemma 4, offen zum Ausprobieren und Weiterentwickeln.

Die erste Version erreicht 93,75 % im eigenen Tool-Entwicklungsbenchmark. Das Training kombiniert Smart-Home-Sprache, allgemeines Function Calling, Gesprächsbeispiele und wechselnde synthetische Geräteinventare. So soll LunaraHome auch über einen einzelnen Haushalt hinaus nützlich werden.

Modell herunterladen · Lizenz und Herkunft

Wofür LunaraHome gedacht ist

LunaraHome richtet sich an Menschen, die einen eigenen Sprachassistenten rund um Home Assistant aufbauen oder mit lokalen Sprachmodellen und Tools experimentieren möchten. Das Modell bekommt die verfügbaren Geräte, Räume und Werkzeuge als Kontext. Deine Integration führt die erzeugten Aufrufe aus.

Im Mittelpunkt stehen deutsche Alltagsformulierungen, die Auswahl passender Geräte und Räume, Statusabfragen, Musiksteuerung und strukturierte Function Calls. Rückfragen bei unklaren Zielen sowie ein angemessener Umgang mit Fehltriggern gehören ebenfalls zum Trainingsziel. Englische Tool- und Replay-Beispiele ergänzen den deutschen Schwerpunkt.

Typische Anfragen, für die LunaraHome trainiert wurde:

„Schalte die Stehlampe im Wohnzimmer ein.“

„Sind im Erdgeschoss noch Lichter an?“

„Spiel Musik im Schlafzimmer.“

„Mach das Licht aus.“ — Bei mehreren passenden Geräten sind Rückfragen erwünscht.

Das sind Anwendungsbeispiele, keine aufgezeichneten Modellantworten. Für zusätzliche Musik-, Historien- oder andere Projekttools muss deine Integration die entsprechenden Werkzeuge tatsächlich anbieten.

Unsere Benchmark-Ergebnisse

Wir haben den v3-Ausgangsadapter und LunaraHome v0.1 auf denselben gepinnten Entwicklungseingaben ausgewertet. Der Vergleich zeigt, was die Fortsetzung gegenüber dem bereits trainierten Ausgangspunkt verändert hat.

Bei den Tools stehen 26 Verbesserungen acht Verschlechterungen gegenüber: ein Nettogewinn von 18 Fällen beziehungsweise 2,25 Prozentpunkten. Die 100-%-Werte beziehen sich jeweils auf die oben genannten Testfälle.

Das ist unser eigener Entwicklungsbenchmark. Die Abbildung enthält unsere gemessenen Ergebnisse; Eingaben und vollständige Ausgaben liegen bisher privat. Die veröffentlichten Werte wurden nach dem Rückdownload neu berechnet und stammen aus der Adapter-Auswertung vor dem BF16-Export; der vollständige Benchmark wurde für den zusammengeführten Export nicht erneut ausgeführt. Exakter Textscore und Multiple-Choice-Retention messen unterschiedliche Dinge und sind kein allgemeiner Intelligenzscore.

Das Modell hinter LunaraHome

Eigenschaft	Details
Basis	Gemma 4 26B-A4B QAT unquantized
Anpassung	Text-Attention Q/V-LoRA, Rang 8, Alpha 16
Trainierte Adapterparameter	2.795.520
Sprachen	Deutsch als Schwerpunkt, ergänzend Englisch
Format	Natives Gemma-Chat-Template, Denken ausgeschaltet
Paket	Vollständig zusammengeführtes BF16-Modell, eine `model.safetensors`
Trainings-Sequenzlänge	Bis zu 6.144 Tokens

Die v3-Datenbasis umfasst 18.815 Trainingszeilen aus dem vorhandenen Smart-Home-Korpus und kuratierten öffentlichen Quellen. Dazu zählen Home Assistant Requests V2 und V5 Native, die offiziellen HA-Intents, MASSIVE, xLAM, ToolACE, Glaive und OpenAssistant; die Adapterlinie enthält außerdem älteren Hermes-Bestand. Alle Quellen und Revisionen.

Für die anschließende v3.1-Fortsetzung wurden 2.400 neue synthetische Inventarvarianten mit 2.400 Replay-Beispielen aus dem breiteren Bestand gemischt. Diese Mischung soll neue Geräte- und Raumkontexte abdecken und vorhandene Fähigkeiten erhalten. Trainiert wurde über 600 Schritte mit Lernrate 5e-5 und effektivem Batch 8; Optimierer und Scheduler wurden neu aufgesetzt. v0.1 veröffentlicht diesen Checkpoint als mit der Basis zusammengeführtes BF16-Modell. Beim Merge wird kein weiteres Training ausgeführt. Vision und MoE-Experten wurden nicht angepasst.

Loslegen

Das Repository enthält das vollständige Modell als eine model.safetensors mit 51,61 GB. Du kannst es direkt mit Transformers laden; ein separater Basisdownload oder PEFT-Adapter ist dafür nicht nötig. Der Tag v0.1-bf16 bindet den geprüften Export. Der ursprüngliche LoRA-Adapter bleibt über den unveränderten Tag v0.1 verfügbar.

Geprüfte Exportumgebung: Transformers 5.17.0 und PyTorch 2.8.0. Für die großen BF16-Gewichte brauchst du ausreichend RAM beziehungsweise VRAM und Speicherplatz.

import torch
from transformers import AutoTokenizer, Gemma4ForConditionalGeneration

repo = "Maxinger15/LunaraHome-26B-A4B"
revision = "v0.1-bf16"
tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
model = Gemma4ForConditionalGeneration.from_pretrained(
    repo, revision=revision,
    dtype=torch.bfloat16, device_map="auto", attn_implementation="sdpa",
    trust_remote_code=False,
).eval()
inputs = tokenizer.apply_chat_template(
    [{"role": "user", "content": "Hallo, was kannst du?"}],
    add_generation_prompt=True, enable_thinking=False,
    tokenize=True, return_dict=True, return_tensors="pt",
).to(model.device)
with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=128, do_sample=False)
print(tokenizer.decode(output[0, inputs["input_ids"].shape[-1]:],
                       skip_special_tokens=False))

Für Home Assistant übergibst du zusätzlich das echte Systemprompt, das exponierte Inventar und die angebotenen Tools über tools=... im Chat-Template. Die Trainingsreferenz bildet Home Assistant 2026.9.3 ab. Erhalte native Toolmarker beim Parsen und lass die Integration die Tools ausführen. Die Chat-Antwort allein löst keine Geräteaktion aus.

Die separate Q4-GGUF-Version ist jetzt verfügbar: Q4_0 mit 14,62 GB, eingebettetem Chat-Template und optionalem Q8_0-Bildprojektor. Der CPU-Ladecheck wurde in llama.cpp geprüft; die obigen Benchmarkwerte stammen weiterhin aus der Adapter-Auswertung vor Quantisierung. Release-Pins und Gewichtsprüfsummen.

Lizenz

Das vollständige Modell enthält die Gemma-Basis unter Apache 2.0. Unsere eigenen Adapterbeiträge und Release-Dokumente bleiben unter MIT, soweit die entsprechenden Rechte beim Herausgeber liegen. Der Tokenizer und das Chat-Template behalten ebenfalls Apache 2.0. Die Trainingsquellen behalten ihre jeweiligen Lizenzen; Attribution, Revisionen und Lizenztexte findest du in den Drittanbieterhinweisen.

LunaraHome ist eine unabhängige Community-Anpassung und kein offizielles Produkt von Google, Home Assistant, Music Assistant oder den Datenanbietern.

Stand der ersten Version und bekannte Grenzen

v0.1 ist eine experimentelle erste Veröffentlichung. Die gemessene Verbesserung bei Tools ist ein guter Ausgangspunkt, weitere Arbeit bleibt bei Sicherheit und dem Erhalt allgemeiner Fähigkeiten. Die Multiple-Choice-Retention sank im Vergleich von 81,25 % auf 78,91 %. Unser Diagnose-Gate bewertet diesen Checkpoint deshalb zusammen mit neuen Sicherheitsfehlern als rejected.

In der Auswertung gab es Öffnen statt Entriegeln, eine Alarm-Deaktivierung ohne verlangte Bestätigung, einen Bewässerungsstart ohne vorheriges Neulesen und einen PowerToggle bei unbekanntem TV-Zustand. Einzelne allgemeine Antworten wiederholten sich oder erreichten das Tokenlimit ohne regulären Abschluss. Diese Version ist nicht für unbeaufsichtigte Gerätesteuerung freigegeben. Zielbindung, Argumente, Zustandsprüfungen und Bestätigungen müssen außerhalb des Modells abgesichert werden.

Die Entwicklungseingaben wurden wiederholt verwendet; ihre Fehlerfamilien haben auch die Fortsetzung beeinflusst. Die Ergebnisse sind daher kein unabhängiger Nachweis für neue Haushalte. Der reservierte Bestätigungstest wurde nicht verwendet. Für den BF16-Export wurden die Einzeldatei, ein eigenständiger CPU-Reload ohne PEFT sowie eine kurze freie Generierung geprüft. Das ersetzt keine neue Qualitätsauswertung. Eine neue GPU-Inferenz, AMD-, Bild- oder Live-HA-Prüfung wurde nicht durchgeführt.

Bei xLAM nennt die Datensatzkarte CC BY 4.0, enthält aber zusätzlich einen Forschungshinweis. Dessen rechtliche Reichweite bleibt ungeklärt; der genaue Wortlaut ist erhalten. MIT ist daher keine pauschale Zusicherung kommerzieller Rechteklärung der Trainingsherkunft. Rohdatensätze und private Wohnungs-Exporte werden hier nicht verteilt.