Blame for README.md

---
title: ZeroGPU Fast Mini-Trainer
emoji: ⚡
colorFrom: yellow
colorTo: red
sdk: gradio
sdk_version: 6.31.0
app_file: app.py
pinned: true
hf_oauth: true
hf_oauth_scopes:
- read-repos
- write-repos
license: agpl-3.0
short_description: ZeroGPU Fast Mini-Trainer for train small LLMs
---

LoRA-Fine-Tuning für kleine SmolLM-Modelle auf ZeroGPU. Jeder Nutzer loggt sich ein und nutzt seine eigene Tagesquote.


# ZeroGPU Mini-Trainer – Anleitung für Blöde mit KI geschrieben!

## Was ist das?
Eine kleine Webseite (Gradio), auf der man ein winziges KI-Modell (SmolLM) in ein paar Minuten
etwas beibringen kann. Man gibt ein Modell, einen Datensatz (Dataset) und ein Ziel an, klickt
auf einen Knopf, und fertig ist ein "angelernter" Aufsatz für das Modell.

## Die Begriffe in einfach
- **Basismodell**: Die KI, die schon etwas kann (z. B. SmolLM2-135M-Instruct).
- **Dataset**: Beispiele, wie die KI antworten soll (Frage + Antwort).
- **LoRA / Adapter**: Statt das ganze Modell umzubauen, trainieren wir nur einen kleinen Zusatz
  (ein paar MB). Das ist schnell und billig. Der Zusatz heißt Adapter.
- **ZeroGPU**: Eine GPU von Hugging Face, die man nur für ein paar Minuten am Tag bekommt.
  Die Zeit gehört dem Nutzer, der eingeloggt ist, nicht dem Space.
- **Epoche**: Einmal alle Beispiele durchgehen. Mehr Epochen = lernt stärker, kann aber
  auswendig lernen.
- **Loss**: Fehlerwert. Wenn er beim Training sinkt (z. B. 2.5 → 1.4), lernt das Modell.

## Welche Dateien gibt es?
- `app.py` – das Programm (Oberfläche + Training + Hochladen).
- `requirements.txt` – Liste der Python-Pakete, die der Space installieren soll.
- `README.md` – Einstellungen für Hugging Face (Gradio, Login an). Nicht löschen!
- `train.jsonl` – kleines Test-Dataset.

## Einrichten (einmalig)
1. Auf Hugging Face: **New Space** → SDK **Gradio** → Hardware **ZeroGPU**.
2. `app.py`, `requirements.txt`, `README.md` hochladen. Warten, bis der Space "Running" zeigt.
3. **New Dataset** erstellen (privat ist okay) und `train.jsonl` hochladen.
4. Optional: **New Model** (leer, privat) für das Ergebnis anlegen.

## Benutzen
1. Space öffnen, **Sign in with Hugging Face** klicken.
2. Basismodell wählen (für den Anfang 135M).
3. Dataset-URL oder `name/dataset` eintragen.
4. Ziel-Repo eintragen (oder leer lassen).
5. **Training starten**. Im Statusfeld siehst du, was passiert.
6. Am Ende steht dort der Link zum fertigen Adapter.

## Einstellungen, die du kennen musst
- **Max. GPU-Sekunden**: So lange darf das Training laufen. Quote beachten (Free = ca. 5 Min/Tag).
  Bei 150 s hast du noch Luft für einen zweiten Versuch.
- **Max. Beispiele**: Wie viele Zeilen aus dem Dataset genutzt werden.
- **Epochen**: Für kleine Datasets 2-3, für große 1.
- **LoRA Rank**: Größe des Zusatzes. 16 ist ein guter Start.
- **Learning Rate**: 2e-4 passt für LoRA fast immer.

## Dataset-Formate (automatisch erkannt)
1. `messages` (empfohlen):
   `{"messages": [{"role": "user", "content": "Hi"}, {"role": "assistant", "content": "Hallo!"}]}`
2. `text`: `{"text": "ein ganzer Beispieltext"}`
3. `instruction` + `output` (auch `prompt`/`response`, `question`/`answer`).

Eine Zeile pro Beispiel (JSONL), Datei z. B. `train.jsonl`.

## Das trainierte Modell benutzen
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = "HuggingFaceTB/SmolLM2-135M-Instruct"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base)
model = PeftModel.from_pretrained(model, "dein-name/dein-modell-repo")
```
Tipp: Mit `model = model.merge_and_unload()` wird alles zu einem normalen Modell zusammengefügt.

## Wenn was schiefgeht
- **Quota-Fehler**: Die Tageszeit ist aufgebraucht. Morgen wieder oder weniger Sekunden einstellen.
- **Spalten nicht erkannt**: Dataset-Format anpassen oder den Spaltennamen im Feld "Textspalte" angeben.
- **Zugriff verweigert**: Beim Login die Rechte (lesen und schreiben) erlauben.
- **Space startet nicht**: In den Logs (Tab "Logs") steht der Fehler. Den kopieren und fragen.
- **Training bringt nichts**: Mehr und bessere Beispiele nehmen. Ein paar Hundert saubere
  Beispiele schlagen tausend schlechte.