File size: 2,314 Bytes
a2396b4 4863146 a2396b4 4863146 a2396b4 4863146 a2396b4 4863146 a2396b4 4863146 a2396b4 4863146 a2396b4 4863146 a2396b4 4863146 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 | ---
language: de
license: gemma
tags:
- function-calling
- gemma3
- litert
- tflite
- on-device
- qualcomm
- npu
---
# FunctionGemma PlantGame DE — On-Device-Artefakte (LiteRT / TFLite / NPU)
Dieses Repo enthält das für **Google AI Edge Gallery** aufbereitete Fine-Tune
`functiongemma-plantgame-de` (Basis: `google/functiongemma-270m-it`, Architektur: Gemma 3 270M)
für die lokale Ausführung auf Android (z. B. Samsung Galaxy S26 Ultra, Snapdragon 8 Elite Gen 5 / SM8850).
## Artefakte (Ordner `litertlm/`)
| Datei | Format | Ziel-Hardware | Quantisierung | Kontext |
|---|---|---|---|---|
| `functiongemma-plantgame-de-wi8emb4-ekv1280.litertlm` | LiteRT-LM (`.litertlm`) | **CPU + GPU** | 8-bit Gewichte, 4-bit Embeddings (per-channel) | Prefill-Chunks 128, KV-Cache 1280 |
| `functiongemma-plantgame-de-int8-ekv1280.task` | MediaPipe Task (`.task`) | **CPU + GPU** | 8-bit dynamisch + 4-bit Embeddings | Prefill-Chunks 128, KV-Cache 1280 |
| `functiongemma-plantgame-de-qnn-sm8850.litertlm` | LiteRT-LM, QNN-AOT-kompiliert | **NPU (Hexagon)** — nur Snapdragon SM8850 | w8a16 (a16w8) via LiteRT NPU-Compiler | Prefill-Chunks 128, KV-Cache 1280 |
## Verwendung in Google AI Edge Gallery
1. AI Edge Gallery installieren (Standard-APK für CPU/GPU; **NPU-Preview-APK** für Snapdragon-NPU).
2. In der App: **Add model** → URL auf die `.litertlm`- bzw. `.task`-Datei in diesem Repo eingeben
(oder Datei über den Dateimanager importieren).
3. CPU/GPU-Artefakt: normal starten; in den Einstellungen lässt sich **GPU-Beschleunigung** aktivieren.
4. NPU-Artefakt: nur in der NPU-fähigen Gallery-Build auf einem Gerät mit Snapdragon **SM8850**
(Galaxy S26 Ultra) starten — die QNN-Kompilierung ist SoC-spezifisch und läuft auf anderen Chips nicht.
## Technik
- Konvertierung: `litert-torch export_hf` (LiteRT-Torch Generative Pipeline)
- NPU: `compile_litertlm` mit Backend `qualcomm`, SoC `SM8850`, O3-Optimierung
- Signatur-Konventionen: `prefill_128`, Decode mit transponiertem KV-Cache
- Tokenizer: SentencePiece (`tokenizer.model`), Start-Token `<bos>`, Stop-Token `<eos>` / `<end_of_turn>`
## Trainingsquelle
Fein-Tuning auf Kaggle (LoRA-frei, Full-FT, 2 Epochen, 3825 Trainings-/675 Eval-Samples):
Exact-Match **148/150 = 98,7 %** auf dem deutschen PlantGame-Function-Calling-Eval.
|