2b-studio / MASTERPLAN.md
2Btainment's picture
ACE-Step Worker angebunden (Adapter, Registry, Router)
b3eaf35 verified
|
Raw History Blame Contribute Delete
16.7 kB
# 2B-Studio — Kompletter Masterplan
**Version:** 0.1 · Konzept
**Datum:** 2026-08-23
**Klassifizierung:** Planungsartefakt, keine Implementierung
**Auftrag:** MiniMax + 2B Audio + freie Modelle + ONUS-Mastering in einer super einfachen App, Agent unten, Website/HF/VPS als Zieloptionen.
---
## 1. Auftrag in einem Satz
Ein **2B-Studio**, in dem ein Mensch in Alltagssprache ein Lied beschreibt, der Agent die Promptfelder füllt, man in **einer Modelauswahl** MiniMax oder jedes 2baudio-/Free-Modell wählt, den Track erzeugt, über den orangen Pfeil auf die Master-Ebene wechselt und ihn dort vor allem **im Agent-Chat** mastern kann — alles in einer Session, später auf der Website.
## 2. Warum nicht einfach die Spaces zusammenkleben
| Asset | Was es heute ist | Was es nicht ist |
|---|---|---|
| [`MiniMaxAI/MiniMax-Music3`](https://huggingface.co/spaces/MiniMaxAI/MiniMax-Music3) | Sehr gutes Create-UI (Simple/Studio), Streaming-Player, LLM-Composer, ZeroGPU | Kein 2B-Branding, kein Multi-Modell, kein Mastering, kein Session-Switch |
| [`2Btainment/2baudio`](https://huggingface.co/spaces/2Btainment/2baudio) | MusicGen-Worker mit Job-API, Profilen, Lyrics-Parser | Kein Endnutzer-Studio, `FORCE_CPU=True`, Dummy-Fallback |
| Website `/2b-studio/musik/` | Marketing-Pipeline Gen→Edit→Mix→Master→Format→Release | Keine App, Status „Pilotphase“ |
| ONUS | Lokale Analyze/Purity/Master/Report-Engine, auditierbar | Kein Web-UI, Proprietary, Audio soll lokal bleiben |
Ein Fork von MiniMaxs 96-kB-`app.py` plus ONUS plus MusicGen in einem Prozess wäre unwartbar und auf FreeGPU physikalisch zu groß.
**Leitentscheidung:** Eine eigene **2B-Studio-Shell** orchestriert Engines über Adapter. MiniMax bleibt Create-Engine. 2baudio bleibt (zuerst) MusicGen-Worker. ONUS bleibt Master-Engine.
## 3. Produkterlebnis
Zwei Ebenen, ein Track, ein Chat. **Create-Layout ist die Excalidraw-Skizze** (2026-08-24), nicht ein MiniMax-Klon.
```text
┌──────────────────────────────────────────────────────────────┐
│ [ WAVEFORM / PLAYER ] │
│ ⬇ ⏹ ▶ ⏸ − ──────── Master → │
│ [ Modelauswahl ▾ ] │
│ │
│ [Genre/Style/Instr.] [Lyrics] [Neg.] │ Bibliothek │ │
│ [Feineinstellungen] [ KI-Musikproducer- │ Dateien │ │
│ | Agent + Prompt- │ │ │
│ | Spezialist Chat │ │ │
│ | UserInput → ]│ │ │
└──────────────────────────────────────────────────────────────┘
```
Der Agent sitzt **unten in der Mitte** und schießt Prompts **nach oben** in die drei Felder (grüne Pfeile in der Skizze).
### 3.1 Create-Ebene (exakt die Skizze)
Von oben nach unten, von links nach rechts:
1. **Waveform-Player** — immer oben, groß. Darunter die Transportleiste: Download, Stop, Play, Pause, optional Trim/Kürzung.
2. **Master-Pfeil** — orange, rechts neben dem Transport. Wechselt die Ebene, nimmt den aktuellen Track mit.
3. **Modelauswahl** — **ein** Dropdown unter dem Player. Darin stehen MiniMax **und** alle Modelle/Backends von `2baudio` (MusicGen small/medium/large, YuE, Stable Audio, …) plus weitere freie Engines, sobald sie laufen. Keine zweite Modell-UI, keine drei Produkt-Tabs.
4. **Drei Promptfelder in einer Reihe**
- **Genre / Style / Instrumente** — der eigentliche Musik-Prompt
- **Lyrics** — optional, Sektions-Tags erlaubt
- **Neg.** — Negative Prompt / Ausschlüsse
- jedes Feld hat ein kleines Übernehmen-/Laden-Icon (Agent oder Bibliothek)
5. **Feineinstellungen** — schmale Box links unten (Dauer, Seed, Guidance, Studio-Caption, modellspezifisch). Default zugeklappt/klein, nicht die Hauptfläche.
6. **KI-Musikproducer-Agent + Prompt-Spezialist** — große Chatfläche in der Mitte unten, UserInput + Senden. Füllt die drei Felder oben.
7. **Bibliothek / Dateien** — rechte Spalte: Session-Takes, Uploads, Masters, Residual.
Es gibt **kein** separates Riesen-„Idee“-Feld. Die Idee lebt im Chat. Die drei blauen Felder sind das, was das Modell wirklich bekommt.
MiniMax-Studiofelder (Global Metadata, Vocal Details, Arrangement) liegen in **Feineinstellungen**, nicht als Default-UI.
### 3.2 Master-Ebene (nur grobes Layout, plus Agent)
[audiomaster.ai/master](https://audiomaster.ai/master) ist **keine Feature-Vorlage**. Nur der ungefähre Aufbau: große Hörfläche oben, darunter Arbeitsfläche, klarer Export. Keine Stem-Regler, kein AudioMaster-Klon, kein deren Modell.
Was 2B-Master wirklich ist:
1. Dieselbe Waveform/Transport-Zeile wie Create (Track kommt mit über den orangen Pfeil, oder Upload).
2. Eine schlichte Master-Arbeitsfläche (Quelle, wenige 2B/ONUS-Regler, Download) — räumlich ähnlich, inhaltlich eigen.
3. **Unten derselbe integrierte Agent-Chat** wie auf Create, nur als Mastering-Agent. Darüber wird der Track im Gespräch bearbeitet und gemastert.
4. Bibliothek rechts bleibt.
ONUS bleibt die Engine hinter den Reglern und dem Agenten, nicht die Optik.
### 3.3 Agent-Dock (unten, immer da)
Zwei Persönlichkeiten, ein Dock. Die Ebene wechselt die Rolle.
| Ebene | Agent | Darf zuerst | Darf später |
|---|---|---|---|
| Create | Prompt-Agent | Prompts **ausgeben** und auf Wunsch **in Felder schreiben** | Generate anstoßen |
| Master | ONUS-/Master-Agent | Analyse erklären, Parameter vorschlagen | Purity/Master ausführen |
**Entwicklungsreihenfolge (vom Auftrag bestätigt):**
1. Agent gibt Prompts nur aus (Copy / „Übernehmen“)
2. Agent schreibt Felder direkt
3. Agent darf Jobs starten (mit sichtbarem Confirm)
Kein verstecktes Autopilot-Generate im MVP.
## 4. Zielarchitektur
```text
┌─────────────────────────────┐
│ 2B-Studio Shell (UI) │
│ Create · Master · Agent │
└──────────────┬──────────────┘
│ Session-Bus
┌──────────────▼──────────────┐
│ Studio Orchestrator │
│ jobs · tracks · actions │
└──────┬───────────┬──────────┘
┌───────────────┼───────────┼───────────────┐
▼ ▼ ▼ ▼
MiniMax Adapter 2B-Audio Adapter Free-Model ONUS Adapter
Music 3 Worker MusicGen Worker Adapters analyze/purity/master
│ │ │ │
└───────────────┴───────────┴───────────────┘
Session Store
(Track, Prompts, Reports)
```
### 4.1 Warum Adapter
Jedes Modell hat andere Inputs:
- MiniMax braucht **Structured Caption** (global / vocal / arrangement) + getaggte Lyrics
- MusicGen braucht einen **flachen Prompt** plus negative terms
- Stable Audio Open braucht Prompt + Dauer + ggf. negatives
- ONUS braucht eine **WAV-Datei** und ein Profil, keinen Prompt
Die Shell kennt nur ein internes **Intent-Objekt**. Adapter übersetzen.
### 4.2 Session ist die Wahrheit
Ein Browser-Tab = eine Session.
```text
Session
id, created_at, locale
create:
genre_style_instruments, lyrics, negative
duration_s, model_id, studio_fields?
last_job_id
master:
source_track_id, profile, purity_mode, intensity
last_report
tracks[]:
id, role (draft|clean|master|residual), wav, metrics
chat[]:
role, text, proposed_actions[]
```
Schema: [`schemas/session.schema.json`](./schemas/session.schema.json)
„Rüberschalten“ kopiert den aktuellen Draft-Track als Master-Quelle. Create bleibt erhalten. Man kann zurück und neu generieren, ohne den Master zu verlieren.
## 5. Modelle — eine Liste, MiniMax ist nur ein Eintrag
Ja: **alles in der einen Modelauswahl aus der Zeichnung.** MiniMax ist kein Extra-Studio, sondern eine Zeile neben MusicGen, YuE, Stable Audio und den übrigen freien Engines.
`2baudio` hat das Muster schon: Felder `backend` + `model` + `profile` (MusicGen small/medium/large, `yuegp`, `yue-interface`, `stable-audio-3`, `manual`). Das Dropdown ist genau diese Liste, erweitert um MiniMax Music 3 und weitere freie Modelle, sobald ein Adapter steht.
### 5.1 Einträge in der Modelauswahl (Startset)
| Eintrag in der Liste | Kommt von | Hinweis hinter der Kulisse |
|---|---|---|
| MiniMax Music 3 | neu | eigener GPU-Worker, zu groß für den MusicGen-Prozess |
| MusicGen Small / Medium / Large | `2baudio` | bestehender Worker |
| YuE / YuE Interface | `2baudio` Backend-Hints | erst listen, wenn der Worker wirklich antwortet |
| Stable Audio 3 | `2baudio` Backend-Hint | wie oben |
| weitere Free (Open, ACE-Step, AudioLDM2, …) | Registry | sobald Adapter + Lizenz klar |
Der User sieht **eine flache Auswahlliste**. Keine Tabs „MiniMax | 2B | Free“.
Der Agent darf ein Modell vorschlagen und ins Dropdown schreiben. Der User kann jedes Modell trotzdem fest wählen.
Registry: [`schemas/model-registry.yaml`](./schemas/model-registry.yaml)
### 5.2 Warum trotzdem Adapter (nicht sichtbar)
Ein Dropdown ≠ ein Prozess. MiniMax füllt eine ZeroGPU allein. MusicGen/YuE laufen über `2baudio`. Die Shell schickt denselben Intent (Genre/Style/Instr. + Lyrics + Neg. + Dauer) an den Adapter des gewählten Eintrags. Das ist Technik, keine zweite UI.
### 5.3 Physikalische Grenze FreeGPU
MiniMax Music 3 lädt Language Model + DiT + Vocoder + AoTI-Kernels. Das ist **ein** ZeroGPU-Prozess.
Deshalb **nicht**:
- MiniMax + MusicGen + ACE-Step in einer Space-Runtime
- ONUS-GPU-Modelle zusätzlich auf dieselbe Karte
Deshalb **ja**:
- **Hub-Space** (UI, Agent, Session) auf CPU oder leichtem GPU
- **Worker-Spaces** pro schwerer Engine
- ONUS auf **CPU** (librosa/numpy) — lokal oder VPS, nicht auf der MiniMax-GPU
Das ist die einzige ehrliche FreeGPU-Strategie.
## 6. Agenten
Details: [`docs/05-agenten.md`](./docs/05-agenten.md)
### 6.1 Prompt-Agent (Create)
Aufgabe: aus Alltagssprache **perfekte Modell-Inputs** bauen.
Ausgabe immer strukturiert:
```json
{
"model_id": "minimax-music3",
"genre_style_instruments": "dark riddim, 140 bpm, male vocal, analog bass",
"lyrics": "[verse]\n...",
"negative": "muddy low end, harsh sibilance",
"duration_s": 60,
"studio": {
"global_metadata": "...",
"vocal_details": "...",
"arrangement": "..."
},
"musicgen_prompt": "flat prompt for 2B Audio"
}
```
MiniMax-Contract kommt 1:1 aus dem offiziellen Composer (BPM, Key, Emotional Progression, Vocal Gender, Instrument Lifecycle, nur erlaubte Lyric-Tags).
MusicGen-Contract kommt aus dem bestehenden `build_prompt()` in 2baudio.
MVP: JSON im Chat zeigen + Button **Felder übernehmen**.
Kein stilles Überschreiben ohne Sichtbarkeit.
### 6.2 Master-Agent (ONUS)
Aufgabe: hören/messen erklären und Parameter setzen, **nicht** Musik wegschleifen.
Gesetze (aus ONUS-Skill, unverhandelbar):
- Original nie überschreiben
- Default `soft_keep_air`, HPSS-Margin 2.0
- Strict nur bei nachgewiesenem KI-Matsch
- Air, Hall, Wärme, Töne bleiben
- Report + Human Approval vor „Release“-Label
Beispiel-Dialog:
> User: „klingt matschig oben, aber nicht tot machen“
> Agent: Analyse zeigt ANTI-SUNO 4.2 → soft_keep_air −24 dB, Profil `premium_clarity`. Strict wäre falsch. Übernehmen?
## 7. Deployment — Empfehlung
Details: [`docs/07-deployment.md`](./docs/07-deployment.md)
| Ziel | Wofür gut | Wofür schlecht |
|---|---|---|
| **HF ZeroGPU** | MiniMax- und MusicGen-Worker, öffentliche Demo | Multi-Modell, persistente Sessions, ONUS-Audio-Policy |
| **Website** | Brand, Login später, Einbettung, 2Bfy-Anschluss | Keine GPU |
| **VPS** | Session-Store, ONUS, Agent, Orchestrator | GPU teuer; MiniMax dort nur mit eigener Karte |
### Empfohlene Staffelung
```text
Phase 1 HF Hub-Space (UI+Agent, CPU) + MiniMax-Worker (ZeroGPU) + 2baudio-Worker
Phase 2 Website /2b-studio/app/ bettet Hub per iFrame, gleicher Look
Phase 3 VPS übernimmt Session + ONUS + Agent; GPU-Jobs bleiben auf HF
Phase 4 Optional eigene GPU, wenn Queue/Kosten das erzwingen
```
**Nicht** Phase 1: alles auf einem VPS ohne GPU. MiniMax wäre dort tot.
**Nicht** Phase 1: ONUS-Audio auf öffentlichen HF-Disks ohne Löschkonzept.
FreeGPU bleibt der Generator. Die Website bleibt die Bühne. Der VPS wird das Gedächtnis.
## 8. Website-Integration
Heute existiert bereits:
- Nav-Punkt **2B-Studio**
- Stationen: Grafik & Film, KI-Experte, Chatroom, **Musikstudio**
- Musikstudio beschreibt exakt diese Pipeline, ist aber Platzhalter
Plan:
1. `/2b-studio/musik/` bekommt CTA **Studio öffnen** → Hub-Space oder später `/2b-studio/app/`
2. iFrame-Variante zuerst (schnell, isoliert, HF-Queue sichtbar)
3. Native Shell später: Website-UI, API gegen Orchestrator
4. 2Bfy bleibt Release-Endpunkt (Phase 3+), nicht MVP
Look: bestehende 2B-Tokens (Syne / Space Grotesk, Amber `#ffb02e`, dunkle Flächen). Kein Hugging-Face-Citrus als Endzustand.
## 9. Was bewusst nicht im MVP ist
- Stem-Separation und Multitrack-DAW
- MIDI / ALS / FLP Export
- Voice-Clone
- Kommerzielle Closed-Modelle ohne klare Lizenz
- Autopilot, der Songs ohne Confirm rendert
- ONUS-Strict als Default
- Gleichzeitiges Laden aller Modelle
- Öffentliche persistente User-Library ohne Auth
## 10. Risiken und Gegenmittel
| Risiko | Gegenmittel |
|---|---|
| MiniMax-Lizenz / Rebranding | Wrapper, keine Gewichtskopie ohne Prüfung; Attribution |
| ZeroGPU-Queue / Cold Start | Kleine Modelle als Draft; Status ehrlich zeigen |
| 2baudio FORCE_CPU + Dummy-WAV | Worker härten, bevor UI ihn als „2B Audio“ verkauft |
| ONUS Proprietary + „Audio bleibt lokal“ | Master zuerst lokal/VPS; HF nur mit Opt-in und TTL-Löschung |
| Agent halluziniert MiniMax-Caption | Schema-Validierung, Retry, Fallback „Studio-Tab selbst füllen“ |
| Ein 2000-Zeilen-Gradio-Monolith | Shell dünn, Adapter dünn, MiniMax-Code nicht forken |
| Kosten LLM-Composer | Kleines Modell / HF Router; Offline-Templates als Fallback |
## 11. Phasen (Kurz)
Voll: [`docs/09-roadmap.md`](./docs/09-roadmap.md)
| Phase | Ergebnis | Host |
|---|---|---|
| **0 · Plan** | dieses Repo, Freigabe | — |
| **1 · Create-MVP** | Einfache UI + MiniMax-Worker + Agent gibt Prompts aus | HF |
| **2 · Multi-Engine** | 2B Audio + 1 Free-Modell, Agent schreibt Felder | HF Workers |
| **3 · Master-MVP** | Grobes Master-Layout + Agent-Chat, ONUS dahinter | VPS + HF |
| **4 · Website** | iFrame in `/2b-studio/musik/`, Brand-Shell | Website |
| **5 · Gesprächs-Master** | Agent steuert ONUS mit Confirm | VPS |
| **6 · Release-Pfad** | Export-Presets, optional 2Bfy | Website |
## 12. Erfolgskriterien
Ein ungeschulter Artist kann in **unter 90 Sekunden** verstehen:
1. Idee eintippen oder dem Agenten sagen
2. Generate
3. Hören
4. Auf Master schalten
5. Ein Profil wählen oder dem Agenten sagen „streaming-tauglich“
6. WAV mitnehmen
Wenn dafür ein Handbuch nötig ist, ist die UI falsch.
## 13. Offene Entscheidungen (vor Code)
1. Öffentlicher Space unter `2Btainment/2b-studio` oder zuerst privat?
2. Darf ONUS jemals Audio auf HF zwischenspeichern (TTL 1 h) oder strikt VPS/lokal?
3. Agent-LLM: HF Router (wie MiniMax) oder eigenes kleines Modell?
4. Soll 2baudio zum echten GPU-Worker gehärtet oder durch einen neuen MusicGen-Space ersetzt werden?
5. Markenname der App: **2B-Studio** (Website-konsistent) oder **2Btainment Studio**?
## 14. Lesereihenfolge für die Umsetzung
1. Dieser Masterplan
2. [`docs/02-ux-ui.md`](./docs/02-ux-ui.md) + [`assets/wireframes.md`](./assets/wireframes.md)
3. [`docs/03-architektur.md`](./docs/03-architektur.md)
4. [`docs/07-deployment.md`](./docs/07-deployment.md)
5. [`docs/09-roadmap.md`](./docs/09-roadmap.md) Phase 1 als erstes Build-Ticket