Spaces:
Running
Running
File size: 16,703 Bytes
b3eaf35 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 | # 2B-Studio — Kompletter Masterplan
**Version:** 0.1 · Konzept
**Datum:** 2026-08-23
**Klassifizierung:** Planungsartefakt, keine Implementierung
**Auftrag:** MiniMax + 2B Audio + freie Modelle + ONUS-Mastering in einer super einfachen App, Agent unten, Website/HF/VPS als Zieloptionen.
---
## 1. Auftrag in einem Satz
Ein **2B-Studio**, in dem ein Mensch in Alltagssprache ein Lied beschreibt, der Agent die Promptfelder füllt, man in **einer Modelauswahl** MiniMax oder jedes 2baudio-/Free-Modell wählt, den Track erzeugt, über den orangen Pfeil auf die Master-Ebene wechselt und ihn dort vor allem **im Agent-Chat** mastern kann — alles in einer Session, später auf der Website.
## 2. Warum nicht einfach die Spaces zusammenkleben
| Asset | Was es heute ist | Was es nicht ist |
|---|---|---|
| [`MiniMaxAI/MiniMax-Music3`](https://huggingface.co/spaces/MiniMaxAI/MiniMax-Music3) | Sehr gutes Create-UI (Simple/Studio), Streaming-Player, LLM-Composer, ZeroGPU | Kein 2B-Branding, kein Multi-Modell, kein Mastering, kein Session-Switch |
| [`2Btainment/2baudio`](https://huggingface.co/spaces/2Btainment/2baudio) | MusicGen-Worker mit Job-API, Profilen, Lyrics-Parser | Kein Endnutzer-Studio, `FORCE_CPU=True`, Dummy-Fallback |
| Website `/2b-studio/musik/` | Marketing-Pipeline Gen→Edit→Mix→Master→Format→Release | Keine App, Status „Pilotphase“ |
| ONUS | Lokale Analyze/Purity/Master/Report-Engine, auditierbar | Kein Web-UI, Proprietary, Audio soll lokal bleiben |
Ein Fork von MiniMaxs 96-kB-`app.py` plus ONUS plus MusicGen in einem Prozess wäre unwartbar und auf FreeGPU physikalisch zu groß.
**Leitentscheidung:** Eine eigene **2B-Studio-Shell** orchestriert Engines über Adapter. MiniMax bleibt Create-Engine. 2baudio bleibt (zuerst) MusicGen-Worker. ONUS bleibt Master-Engine.
## 3. Produkterlebnis
Zwei Ebenen, ein Track, ein Chat. **Create-Layout ist die Excalidraw-Skizze** (2026-08-24), nicht ein MiniMax-Klon.
```text
┌──────────────────────────────────────────────────────────────┐
│ [ WAVEFORM / PLAYER ] │
│ ⬇ ⏹ ▶ ⏸ − ──────── Master → │
│ [ Modelauswahl ▾ ] │
│ │
│ [Genre/Style/Instr.] [Lyrics] [Neg.] │ Bibliothek │ │
│ [Feineinstellungen] [ KI-Musikproducer- │ Dateien │ │
│ | Agent + Prompt- │ │ │
│ | Spezialist Chat │ │ │
│ | UserInput → ]│ │ │
└──────────────────────────────────────────────────────────────┘
```
Der Agent sitzt **unten in der Mitte** und schießt Prompts **nach oben** in die drei Felder (grüne Pfeile in der Skizze).
### 3.1 Create-Ebene (exakt die Skizze)
Von oben nach unten, von links nach rechts:
1. **Waveform-Player** — immer oben, groß. Darunter die Transportleiste: Download, Stop, Play, Pause, optional Trim/Kürzung.
2. **Master-Pfeil** — orange, rechts neben dem Transport. Wechselt die Ebene, nimmt den aktuellen Track mit.
3. **Modelauswahl** — **ein** Dropdown unter dem Player. Darin stehen MiniMax **und** alle Modelle/Backends von `2baudio` (MusicGen small/medium/large, YuE, Stable Audio, …) plus weitere freie Engines, sobald sie laufen. Keine zweite Modell-UI, keine drei Produkt-Tabs.
4. **Drei Promptfelder in einer Reihe**
- **Genre / Style / Instrumente** — der eigentliche Musik-Prompt
- **Lyrics** — optional, Sektions-Tags erlaubt
- **Neg.** — Negative Prompt / Ausschlüsse
- jedes Feld hat ein kleines Übernehmen-/Laden-Icon (Agent oder Bibliothek)
5. **Feineinstellungen** — schmale Box links unten (Dauer, Seed, Guidance, Studio-Caption, modellspezifisch). Default zugeklappt/klein, nicht die Hauptfläche.
6. **KI-Musikproducer-Agent + Prompt-Spezialist** — große Chatfläche in der Mitte unten, UserInput + Senden. Füllt die drei Felder oben.
7. **Bibliothek / Dateien** — rechte Spalte: Session-Takes, Uploads, Masters, Residual.
Es gibt **kein** separates Riesen-„Idee“-Feld. Die Idee lebt im Chat. Die drei blauen Felder sind das, was das Modell wirklich bekommt.
MiniMax-Studiofelder (Global Metadata, Vocal Details, Arrangement) liegen in **Feineinstellungen**, nicht als Default-UI.
### 3.2 Master-Ebene (nur grobes Layout, plus Agent)
[audiomaster.ai/master](https://audiomaster.ai/master) ist **keine Feature-Vorlage**. Nur der ungefähre Aufbau: große Hörfläche oben, darunter Arbeitsfläche, klarer Export. Keine Stem-Regler, kein AudioMaster-Klon, kein deren Modell.
Was 2B-Master wirklich ist:
1. Dieselbe Waveform/Transport-Zeile wie Create (Track kommt mit über den orangen Pfeil, oder Upload).
2. Eine schlichte Master-Arbeitsfläche (Quelle, wenige 2B/ONUS-Regler, Download) — räumlich ähnlich, inhaltlich eigen.
3. **Unten derselbe integrierte Agent-Chat** wie auf Create, nur als Mastering-Agent. Darüber wird der Track im Gespräch bearbeitet und gemastert.
4. Bibliothek rechts bleibt.
ONUS bleibt die Engine hinter den Reglern und dem Agenten, nicht die Optik.
### 3.3 Agent-Dock (unten, immer da)
Zwei Persönlichkeiten, ein Dock. Die Ebene wechselt die Rolle.
| Ebene | Agent | Darf zuerst | Darf später |
|---|---|---|---|
| Create | Prompt-Agent | Prompts **ausgeben** und auf Wunsch **in Felder schreiben** | Generate anstoßen |
| Master | ONUS-/Master-Agent | Analyse erklären, Parameter vorschlagen | Purity/Master ausführen |
**Entwicklungsreihenfolge (vom Auftrag bestätigt):**
1. Agent gibt Prompts nur aus (Copy / „Übernehmen“)
2. Agent schreibt Felder direkt
3. Agent darf Jobs starten (mit sichtbarem Confirm)
Kein verstecktes Autopilot-Generate im MVP.
## 4. Zielarchitektur
```text
┌─────────────────────────────┐
│ 2B-Studio Shell (UI) │
│ Create · Master · Agent │
└──────────────┬──────────────┘
│ Session-Bus
┌──────────────▼──────────────┐
│ Studio Orchestrator │
│ jobs · tracks · actions │
└──────┬───────────┬──────────┘
┌───────────────┼───────────┼───────────────┐
▼ ▼ ▼ ▼
MiniMax Adapter 2B-Audio Adapter Free-Model ONUS Adapter
Music 3 Worker MusicGen Worker Adapters analyze/purity/master
│ │ │ │
└───────────────┴───────────┴───────────────┘
Session Store
(Track, Prompts, Reports)
```
### 4.1 Warum Adapter
Jedes Modell hat andere Inputs:
- MiniMax braucht **Structured Caption** (global / vocal / arrangement) + getaggte Lyrics
- MusicGen braucht einen **flachen Prompt** plus negative terms
- Stable Audio Open braucht Prompt + Dauer + ggf. negatives
- ONUS braucht eine **WAV-Datei** und ein Profil, keinen Prompt
Die Shell kennt nur ein internes **Intent-Objekt**. Adapter übersetzen.
### 4.2 Session ist die Wahrheit
Ein Browser-Tab = eine Session.
```text
Session
id, created_at, locale
create:
genre_style_instruments, lyrics, negative
duration_s, model_id, studio_fields?
last_job_id
master:
source_track_id, profile, purity_mode, intensity
last_report
tracks[]:
id, role (draft|clean|master|residual), wav, metrics
chat[]:
role, text, proposed_actions[]
```
Schema: [`schemas/session.schema.json`](./schemas/session.schema.json)
„Rüberschalten“ kopiert den aktuellen Draft-Track als Master-Quelle. Create bleibt erhalten. Man kann zurück und neu generieren, ohne den Master zu verlieren.
## 5. Modelle — eine Liste, MiniMax ist nur ein Eintrag
Ja: **alles in der einen Modelauswahl aus der Zeichnung.** MiniMax ist kein Extra-Studio, sondern eine Zeile neben MusicGen, YuE, Stable Audio und den übrigen freien Engines.
`2baudio` hat das Muster schon: Felder `backend` + `model` + `profile` (MusicGen small/medium/large, `yuegp`, `yue-interface`, `stable-audio-3`, `manual`). Das Dropdown ist genau diese Liste, erweitert um MiniMax Music 3 und weitere freie Modelle, sobald ein Adapter steht.
### 5.1 Einträge in der Modelauswahl (Startset)
| Eintrag in der Liste | Kommt von | Hinweis hinter der Kulisse |
|---|---|---|
| MiniMax Music 3 | neu | eigener GPU-Worker, zu groß für den MusicGen-Prozess |
| MusicGen Small / Medium / Large | `2baudio` | bestehender Worker |
| YuE / YuE Interface | `2baudio` Backend-Hints | erst listen, wenn der Worker wirklich antwortet |
| Stable Audio 3 | `2baudio` Backend-Hint | wie oben |
| weitere Free (Open, ACE-Step, AudioLDM2, …) | Registry | sobald Adapter + Lizenz klar |
Der User sieht **eine flache Auswahlliste**. Keine Tabs „MiniMax | 2B | Free“.
Der Agent darf ein Modell vorschlagen und ins Dropdown schreiben. Der User kann jedes Modell trotzdem fest wählen.
Registry: [`schemas/model-registry.yaml`](./schemas/model-registry.yaml)
### 5.2 Warum trotzdem Adapter (nicht sichtbar)
Ein Dropdown ≠ ein Prozess. MiniMax füllt eine ZeroGPU allein. MusicGen/YuE laufen über `2baudio`. Die Shell schickt denselben Intent (Genre/Style/Instr. + Lyrics + Neg. + Dauer) an den Adapter des gewählten Eintrags. Das ist Technik, keine zweite UI.
### 5.3 Physikalische Grenze FreeGPU
MiniMax Music 3 lädt Language Model + DiT + Vocoder + AoTI-Kernels. Das ist **ein** ZeroGPU-Prozess.
Deshalb **nicht**:
- MiniMax + MusicGen + ACE-Step in einer Space-Runtime
- ONUS-GPU-Modelle zusätzlich auf dieselbe Karte
Deshalb **ja**:
- **Hub-Space** (UI, Agent, Session) auf CPU oder leichtem GPU
- **Worker-Spaces** pro schwerer Engine
- ONUS auf **CPU** (librosa/numpy) — lokal oder VPS, nicht auf der MiniMax-GPU
Das ist die einzige ehrliche FreeGPU-Strategie.
## 6. Agenten
Details: [`docs/05-agenten.md`](./docs/05-agenten.md)
### 6.1 Prompt-Agent (Create)
Aufgabe: aus Alltagssprache **perfekte Modell-Inputs** bauen.
Ausgabe immer strukturiert:
```json
{
"model_id": "minimax-music3",
"genre_style_instruments": "dark riddim, 140 bpm, male vocal, analog bass",
"lyrics": "[verse]\n...",
"negative": "muddy low end, harsh sibilance",
"duration_s": 60,
"studio": {
"global_metadata": "...",
"vocal_details": "...",
"arrangement": "..."
},
"musicgen_prompt": "flat prompt for 2B Audio"
}
```
MiniMax-Contract kommt 1:1 aus dem offiziellen Composer (BPM, Key, Emotional Progression, Vocal Gender, Instrument Lifecycle, nur erlaubte Lyric-Tags).
MusicGen-Contract kommt aus dem bestehenden `build_prompt()` in 2baudio.
MVP: JSON im Chat zeigen + Button **Felder übernehmen**.
Kein stilles Überschreiben ohne Sichtbarkeit.
### 6.2 Master-Agent (ONUS)
Aufgabe: hören/messen erklären und Parameter setzen, **nicht** Musik wegschleifen.
Gesetze (aus ONUS-Skill, unverhandelbar):
- Original nie überschreiben
- Default `soft_keep_air`, HPSS-Margin 2.0
- Strict nur bei nachgewiesenem KI-Matsch
- Air, Hall, Wärme, Töne bleiben
- Report + Human Approval vor „Release“-Label
Beispiel-Dialog:
> User: „klingt matschig oben, aber nicht tot machen“
> Agent: Analyse zeigt ANTI-SUNO 4.2 → soft_keep_air −24 dB, Profil `premium_clarity`. Strict wäre falsch. Übernehmen?
## 7. Deployment — Empfehlung
Details: [`docs/07-deployment.md`](./docs/07-deployment.md)
| Ziel | Wofür gut | Wofür schlecht |
|---|---|---|
| **HF ZeroGPU** | MiniMax- und MusicGen-Worker, öffentliche Demo | Multi-Modell, persistente Sessions, ONUS-Audio-Policy |
| **Website** | Brand, Login später, Einbettung, 2Bfy-Anschluss | Keine GPU |
| **VPS** | Session-Store, ONUS, Agent, Orchestrator | GPU teuer; MiniMax dort nur mit eigener Karte |
### Empfohlene Staffelung
```text
Phase 1 HF Hub-Space (UI+Agent, CPU) + MiniMax-Worker (ZeroGPU) + 2baudio-Worker
Phase 2 Website /2b-studio/app/ bettet Hub per iFrame, gleicher Look
Phase 3 VPS übernimmt Session + ONUS + Agent; GPU-Jobs bleiben auf HF
Phase 4 Optional eigene GPU, wenn Queue/Kosten das erzwingen
```
**Nicht** Phase 1: alles auf einem VPS ohne GPU. MiniMax wäre dort tot.
**Nicht** Phase 1: ONUS-Audio auf öffentlichen HF-Disks ohne Löschkonzept.
FreeGPU bleibt der Generator. Die Website bleibt die Bühne. Der VPS wird das Gedächtnis.
## 8. Website-Integration
Heute existiert bereits:
- Nav-Punkt **2B-Studio**
- Stationen: Grafik & Film, KI-Experte, Chatroom, **Musikstudio**
- Musikstudio beschreibt exakt diese Pipeline, ist aber Platzhalter
Plan:
1. `/2b-studio/musik/` bekommt CTA **Studio öffnen** → Hub-Space oder später `/2b-studio/app/`
2. iFrame-Variante zuerst (schnell, isoliert, HF-Queue sichtbar)
3. Native Shell später: Website-UI, API gegen Orchestrator
4. 2Bfy bleibt Release-Endpunkt (Phase 3+), nicht MVP
Look: bestehende 2B-Tokens (Syne / Space Grotesk, Amber `#ffb02e`, dunkle Flächen). Kein Hugging-Face-Citrus als Endzustand.
## 9. Was bewusst nicht im MVP ist
- Stem-Separation und Multitrack-DAW
- MIDI / ALS / FLP Export
- Voice-Clone
- Kommerzielle Closed-Modelle ohne klare Lizenz
- Autopilot, der Songs ohne Confirm rendert
- ONUS-Strict als Default
- Gleichzeitiges Laden aller Modelle
- Öffentliche persistente User-Library ohne Auth
## 10. Risiken und Gegenmittel
| Risiko | Gegenmittel |
|---|---|
| MiniMax-Lizenz / Rebranding | Wrapper, keine Gewichtskopie ohne Prüfung; Attribution |
| ZeroGPU-Queue / Cold Start | Kleine Modelle als Draft; Status ehrlich zeigen |
| 2baudio FORCE_CPU + Dummy-WAV | Worker härten, bevor UI ihn als „2B Audio“ verkauft |
| ONUS Proprietary + „Audio bleibt lokal“ | Master zuerst lokal/VPS; HF nur mit Opt-in und TTL-Löschung |
| Agent halluziniert MiniMax-Caption | Schema-Validierung, Retry, Fallback „Studio-Tab selbst füllen“ |
| Ein 2000-Zeilen-Gradio-Monolith | Shell dünn, Adapter dünn, MiniMax-Code nicht forken |
| Kosten LLM-Composer | Kleines Modell / HF Router; Offline-Templates als Fallback |
## 11. Phasen (Kurz)
Voll: [`docs/09-roadmap.md`](./docs/09-roadmap.md)
| Phase | Ergebnis | Host |
|---|---|---|
| **0 · Plan** | dieses Repo, Freigabe | — |
| **1 · Create-MVP** | Einfache UI + MiniMax-Worker + Agent gibt Prompts aus | HF |
| **2 · Multi-Engine** | 2B Audio + 1 Free-Modell, Agent schreibt Felder | HF Workers |
| **3 · Master-MVP** | Grobes Master-Layout + Agent-Chat, ONUS dahinter | VPS + HF |
| **4 · Website** | iFrame in `/2b-studio/musik/`, Brand-Shell | Website |
| **5 · Gesprächs-Master** | Agent steuert ONUS mit Confirm | VPS |
| **6 · Release-Pfad** | Export-Presets, optional 2Bfy | Website |
## 12. Erfolgskriterien
Ein ungeschulter Artist kann in **unter 90 Sekunden** verstehen:
1. Idee eintippen oder dem Agenten sagen
2. Generate
3. Hören
4. Auf Master schalten
5. Ein Profil wählen oder dem Agenten sagen „streaming-tauglich“
6. WAV mitnehmen
Wenn dafür ein Handbuch nötig ist, ist die UI falsch.
## 13. Offene Entscheidungen (vor Code)
1. Öffentlicher Space unter `2Btainment/2b-studio` oder zuerst privat?
2. Darf ONUS jemals Audio auf HF zwischenspeichern (TTL 1 h) oder strikt VPS/lokal?
3. Agent-LLM: HF Router (wie MiniMax) oder eigenes kleines Modell?
4. Soll 2baudio zum echten GPU-Worker gehärtet oder durch einen neuen MusicGen-Space ersetzt werden?
5. Markenname der App: **2B-Studio** (Website-konsistent) oder **2Btainment Studio**?
## 14. Lesereihenfolge für die Umsetzung
1. Dieser Masterplan
2. [`docs/02-ux-ui.md`](./docs/02-ux-ui.md) + [`assets/wireframes.md`](./assets/wireframes.md)
3. [`docs/03-architektur.md`](./docs/03-architektur.md)
4. [`docs/07-deployment.md`](./docs/07-deployment.md)
5. [`docs/09-roadmap.md`](./docs/09-roadmap.md) Phase 1 als erstes Build-Ticket
|