Instructions to use KillerBoss/functiongemma-plantgame-de with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use KillerBoss/functiongemma-plantgame-de with LiteRT:

# No code snippets available yet for this library.

# To use this model, check the repository files and the library's documentation.

# Want to help? PRs adding snippets are welcome at:
# https://github.com/huggingface/huggingface.js

Notebooks
Google Colab
Kaggle
Local Apps Settings

llama.cpp

How to use KillerBoss/functiongemma-plantgame-de with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf KillerBoss/functiongemma-plantgame-de:F16
# Run inference directly in the terminal:
llama cli -hf KillerBoss/functiongemma-plantgame-de:F16

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf KillerBoss/functiongemma-plantgame-de:F16
# Run inference directly in the terminal:
llama cli -hf KillerBoss/functiongemma-plantgame-de:F16

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf KillerBoss/functiongemma-plantgame-de:F16
# Run inference directly in the terminal:
./llama-cli -hf KillerBoss/functiongemma-plantgame-de:F16

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf KillerBoss/functiongemma-plantgame-de:F16
# Run inference directly in the terminal:
./build/bin/llama-cli -hf KillerBoss/functiongemma-plantgame-de:F16

Use Docker

docker model run hf.co/KillerBoss/functiongemma-plantgame-de:F16

LM Studio
Jan
Ollama
How to use KillerBoss/functiongemma-plantgame-de with Ollama:
```
ollama run hf.co/KillerBoss/functiongemma-plantgame-de:F16
```
Unsloth Desktop
Docker Model Runner
How to use KillerBoss/functiongemma-plantgame-de with Docker Model Runner:
```
docker model run hf.co/KillerBoss/functiongemma-plantgame-de:F16
```

Lemonade

How to use KillerBoss/functiongemma-plantgame-de with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull KillerBoss/functiongemma-plantgame-de:F16

Run and chat with the model

lemonade run user.functiongemma-plantgame-de-F16

List all available models

lemonade list

Atomic Chat

functiongemma-plantgame-de / README.md

KillerBoss

Docs: On-Device-Artefakte (LiteRT/TFLite/NPU) beschrieben

4863146 verified about 2 months ago

preview code

Raw History Blame Contribute Delete

2.31 kB

---
language: de
license: gemma
tags:
- function-calling
- gemma3
- litert
- tflite
- on-device
- qualcomm
- npu
---
# FunctionGemma PlantGame DE — On-Device-Artefakte (LiteRT / TFLite / NPU)

Dieses Repo enthält das für **Google AI Edge Gallery** aufbereitete Fine-Tune
`functiongemma-plantgame-de` (Basis: `google/functiongemma-270m-it`, Architektur: Gemma 3 270M)
für die lokale Ausführung auf Android (z. B. Samsung Galaxy S26 Ultra, Snapdragon 8 Elite Gen 5 / SM8850).

## Artefakte (Ordner `litertlm/`)

| Datei | Format | Ziel-Hardware | Quantisierung | Kontext |
|---|---|---|---|---|
| `functiongemma-plantgame-de-wi8emb4-ekv1280.litertlm` | LiteRT-LM (`.litertlm`) | **CPU + GPU** | 8-bit Gewichte, 4-bit Embeddings (per-channel) | Prefill-Chunks 128, KV-Cache 1280 |
| `functiongemma-plantgame-de-int8-ekv1280.task` | MediaPipe Task (`.task`) | **CPU + GPU** | 8-bit dynamisch + 4-bit Embeddings | Prefill-Chunks 128, KV-Cache 1280 |
| `functiongemma-plantgame-de-qnn-sm8850.litertlm` | LiteRT-LM, QNN-AOT-kompiliert | **NPU (Hexagon)** — nur Snapdragon SM8850 | w8a16 (a16w8) via LiteRT NPU-Compiler | Prefill-Chunks 128, KV-Cache 1280 |

## Verwendung in Google AI Edge Gallery

1. AI Edge Gallery installieren (Standard-APK für CPU/GPU; **NPU-Preview-APK** für Snapdragon-NPU).
2. In der App: **Add model** → URL auf die `.litertlm`- bzw. `.task`-Datei in diesem Repo eingeben
   (oder Datei über den Dateimanager importieren).
3. CPU/GPU-Artefakt: normal starten; in den Einstellungen lässt sich **GPU-Beschleunigung** aktivieren.
4. NPU-Artefakt: nur in der NPU-fähigen Gallery-Build auf einem Gerät mit Snapdragon **SM8850**
   (Galaxy S26 Ultra) starten — die QNN-Kompilierung ist SoC-spezifisch und läuft auf anderen Chips nicht.

## Technik

- Konvertierung: `litert-torch export_hf` (LiteRT-Torch Generative Pipeline)
- NPU: `compile_litertlm` mit Backend `qualcomm`, SoC `SM8850`, O3-Optimierung
- Signatur-Konventionen: `prefill_128`, Decode mit transponiertem KV-Cache
- Tokenizer: SentencePiece (`tokenizer.model`), Start-Token `<bos>`, Stop-Token `<eos>` / `<end_of_turn>`

## Trainingsquelle

Fein-Tuning auf Kaggle (LoRA-frei, Full-FT, 2 Epochen, 3825 Trainings-/675 Eval-Samples):
Exact-Match **148/150 = 98,7 %** auf dem deutschen PlantGame-Function-Calling-Eval.

	---
	language: de
	license: gemma
	tags:
	- function-calling
	- gemma3
	- litert
	- tflite
	- on-device
	- qualcomm
	- npu
	---

	# FunctionGemma PlantGame DE — On-Device-Artefakte (LiteRT / TFLite / NPU)

	Dieses Repo enthält das für Google AI Edge Gallery aufbereitete Fine-Tune
	`functiongemma-plantgame-de` (Basis: `google/functiongemma-270m-it`, Architektur: Gemma 3 270M)
	für die lokale Ausführung auf Android (z. B. Samsung Galaxy S26 Ultra, Snapdragon 8 Elite Gen 5 / SM8850).

	## Artefakte (Ordner `litertlm/`)

	\| Datei \| Format \| Ziel-Hardware \| Quantisierung \| Kontext \|
	\|---\|---\|---\|---\|---\|
	\| `functiongemma-plantgame-de-wi8emb4-ekv1280.litertlm` \| LiteRT-LM (`.litertlm`) \| CPU + GPU \| 8-bit Gewichte, 4-bit Embeddings (per-channel) \| Prefill-Chunks 128, KV-Cache 1280 \|
	\| `functiongemma-plantgame-de-int8-ekv1280.task` \| MediaPipe Task (`.task`) \| CPU + GPU \| 8-bit dynamisch + 4-bit Embeddings \| Prefill-Chunks 128, KV-Cache 1280 \|
	\| `functiongemma-plantgame-de-qnn-sm8850.litertlm` \| LiteRT-LM, QNN-AOT-kompiliert \| NPU (Hexagon) — nur Snapdragon SM8850 \| w8a16 (a16w8) via LiteRT NPU-Compiler \| Prefill-Chunks 128, KV-Cache 1280 \|

	## Verwendung in Google AI Edge Gallery

	1. AI Edge Gallery installieren (Standard-APK für CPU/GPU; NPU-Preview-APK für Snapdragon-NPU).
	2. In der App: Add model → URL auf die `.litertlm`- bzw. `.task`-Datei in diesem Repo eingeben
	(oder Datei über den Dateimanager importieren).
	3. CPU/GPU-Artefakt: normal starten; in den Einstellungen lässt sich GPU-Beschleunigung aktivieren.
	4. NPU-Artefakt: nur in der NPU-fähigen Gallery-Build auf einem Gerät mit Snapdragon SM8850
	(Galaxy S26 Ultra) starten — die QNN-Kompilierung ist SoC-spezifisch und läuft auf anderen Chips nicht.

	## Technik

	- Konvertierung: `litert-torch export_hf` (LiteRT-Torch Generative Pipeline)
	- NPU: `compile_litertlm` mit Backend `qualcomm`, SoC `SM8850`, O3-Optimierung
	- Signatur-Konventionen: `prefill_128`, Decode mit transponiertem KV-Cache
	- Tokenizer: SentencePiece (`tokenizer.model`), Start-Token `<bos>`, Stop-Token `<eos>` / `<end_of_turn>`

	## Trainingsquelle

	Fein-Tuning auf Kaggle (LoRA-frei, Full-FT, 2 Epochen, 3825 Trainings-/675 Eval-Samples):
	Exact-Match 148/150 = 98,7 % auf dem deutschen PlantGame-Function-Calling-Eval.