2b-studio / MASTERPLAN.md
2Btainment's picture
ACE-Step Worker angebunden (Adapter, Registry, Router)
b3eaf35 verified
|
Raw History Blame Contribute Delete
16.7 kB

A newer version of the Gradio SDK is available: 6.32.0

Upgrade

2B-Studio — Kompletter Masterplan

Version: 0.1 · Konzept
Datum: 2026-08-23
Klassifizierung: Planungsartefakt, keine Implementierung
Auftrag: MiniMax + 2B Audio + freie Modelle + ONUS-Mastering in einer super einfachen App, Agent unten, Website/HF/VPS als Zieloptionen.


1. Auftrag in einem Satz

Ein 2B-Studio, in dem ein Mensch in Alltagssprache ein Lied beschreibt, der Agent die Promptfelder füllt, man in einer Modelauswahl MiniMax oder jedes 2baudio-/Free-Modell wählt, den Track erzeugt, über den orangen Pfeil auf die Master-Ebene wechselt und ihn dort vor allem im Agent-Chat mastern kann — alles in einer Session, später auf der Website.

2. Warum nicht einfach die Spaces zusammenkleben

Asset Was es heute ist Was es nicht ist
MiniMaxAI/MiniMax-Music3 Sehr gutes Create-UI (Simple/Studio), Streaming-Player, LLM-Composer, ZeroGPU Kein 2B-Branding, kein Multi-Modell, kein Mastering, kein Session-Switch
2Btainment/2baudio MusicGen-Worker mit Job-API, Profilen, Lyrics-Parser Kein Endnutzer-Studio, FORCE_CPU=True, Dummy-Fallback
Website /2b-studio/musik/ Marketing-Pipeline Gen→Edit→Mix→Master→Format→Release Keine App, Status „Pilotphase“
ONUS Lokale Analyze/Purity/Master/Report-Engine, auditierbar Kein Web-UI, Proprietary, Audio soll lokal bleiben

Ein Fork von MiniMaxs 96-kB-app.py plus ONUS plus MusicGen in einem Prozess wäre unwartbar und auf FreeGPU physikalisch zu groß.

Leitentscheidung: Eine eigene 2B-Studio-Shell orchestriert Engines über Adapter. MiniMax bleibt Create-Engine. 2baudio bleibt (zuerst) MusicGen-Worker. ONUS bleibt Master-Engine.

3. Produkterlebnis

Zwei Ebenen, ein Track, ein Chat. Create-Layout ist die Excalidraw-Skizze (2026-08-24), nicht ein MiniMax-Klon.

┌──────────────────────────────────────────────────────────────┐
│                    [ WAVEFORM / PLAYER ]                     │
│         ⬇  ⏹  ▶  ⏸  −          ──────── Master →            │
│                    [ Modelauswahl ▾ ]                        │
│                                                              │
│  [Genre/Style/Instr.] [Lyrics] [Neg.]        │ Bibliothek  │ │
│  [Feineinstellungen]  [ KI-Musikproducer-    │ Dateien     │ │
│                       | Agent + Prompt-      │             │ │
│                       | Spezialist Chat      │             │ │
│                       | UserInput         → ]│             │ │
└──────────────────────────────────────────────────────────────┘

Der Agent sitzt unten in der Mitte und schießt Prompts nach oben in die drei Felder (grüne Pfeile in der Skizze).

3.1 Create-Ebene (exakt die Skizze)

Von oben nach unten, von links nach rechts:

  1. Waveform-Player — immer oben, groß. Darunter die Transportleiste: Download, Stop, Play, Pause, optional Trim/Kürzung.
  2. Master-Pfeil — orange, rechts neben dem Transport. Wechselt die Ebene, nimmt den aktuellen Track mit.
  3. Modelauswahl — ein Dropdown unter dem Player. Darin stehen MiniMax und alle Modelle/Backends von 2baudio (MusicGen small/medium/large, YuE, Stable Audio, …) plus weitere freie Engines, sobald sie laufen. Keine zweite Modell-UI, keine drei Produkt-Tabs.
  4. Drei Promptfelder in einer Reihe
    • Genre / Style / Instrumente — der eigentliche Musik-Prompt
    • Lyrics — optional, Sektions-Tags erlaubt
    • Neg. — Negative Prompt / Ausschlüsse
    • jedes Feld hat ein kleines Übernehmen-/Laden-Icon (Agent oder Bibliothek)
  5. Feineinstellungen — schmale Box links unten (Dauer, Seed, Guidance, Studio-Caption, modellspezifisch). Default zugeklappt/klein, nicht die Hauptfläche.
  6. KI-Musikproducer-Agent + Prompt-Spezialist — große Chatfläche in der Mitte unten, UserInput + Senden. Füllt die drei Felder oben.
  7. Bibliothek / Dateien — rechte Spalte: Session-Takes, Uploads, Masters, Residual.

Es gibt kein separates Riesen-„Idee“-Feld. Die Idee lebt im Chat. Die drei blauen Felder sind das, was das Modell wirklich bekommt.

MiniMax-Studiofelder (Global Metadata, Vocal Details, Arrangement) liegen in Feineinstellungen, nicht als Default-UI.

3.2 Master-Ebene (nur grobes Layout, plus Agent)

audiomaster.ai/master ist keine Feature-Vorlage. Nur der ungefähre Aufbau: große Hörfläche oben, darunter Arbeitsfläche, klarer Export. Keine Stem-Regler, kein AudioMaster-Klon, kein deren Modell.

Was 2B-Master wirklich ist:

  1. Dieselbe Waveform/Transport-Zeile wie Create (Track kommt mit über den orangen Pfeil, oder Upload).
  2. Eine schlichte Master-Arbeitsfläche (Quelle, wenige 2B/ONUS-Regler, Download) — räumlich ähnlich, inhaltlich eigen.
  3. Unten derselbe integrierte Agent-Chat wie auf Create, nur als Mastering-Agent. Darüber wird der Track im Gespräch bearbeitet und gemastert.
  4. Bibliothek rechts bleibt.

ONUS bleibt die Engine hinter den Reglern und dem Agenten, nicht die Optik.

3.3 Agent-Dock (unten, immer da)

Zwei Persönlichkeiten, ein Dock. Die Ebene wechselt die Rolle.

Ebene Agent Darf zuerst Darf später
Create Prompt-Agent Prompts ausgeben und auf Wunsch in Felder schreiben Generate anstoßen
Master ONUS-/Master-Agent Analyse erklären, Parameter vorschlagen Purity/Master ausführen

Entwicklungsreihenfolge (vom Auftrag bestätigt):

  1. Agent gibt Prompts nur aus (Copy / „Übernehmen“)
  2. Agent schreibt Felder direkt
  3. Agent darf Jobs starten (mit sichtbarem Confirm)

Kein verstecktes Autopilot-Generate im MVP.

4. Zielarchitektur

                    ┌─────────────────────────────┐
                    │     2B-Studio Shell (UI)    │
                    │  Create · Master · Agent    │
                    └──────────────┬──────────────┘
                                   │ Session-Bus
                    ┌──────────────▼──────────────┐
                    │     Studio Orchestrator     │
                    │  jobs · tracks · actions    │
                    └──────┬───────────┬──────────┘
           ┌───────────────┼───────────┼───────────────┐
           ▼               ▼           ▼               ▼
    MiniMax Adapter  2B-Audio Adapter  Free-Model    ONUS Adapter
    Music 3 Worker   MusicGen Worker   Adapters      analyze/purity/master
           │               │           │               │
           └───────────────┴───────────┴───────────────┘
                         Session Store
                    (Track, Prompts, Reports)

4.1 Warum Adapter

Jedes Modell hat andere Inputs:

  • MiniMax braucht Structured Caption (global / vocal / arrangement) + getaggte Lyrics
  • MusicGen braucht einen flachen Prompt plus negative terms
  • Stable Audio Open braucht Prompt + Dauer + ggf. negatives
  • ONUS braucht eine WAV-Datei und ein Profil, keinen Prompt

Die Shell kennt nur ein internes Intent-Objekt. Adapter übersetzen.

4.2 Session ist die Wahrheit

Ein Browser-Tab = eine Session.

Session
  id, created_at, locale
  create:
    genre_style_instruments, lyrics, negative
    duration_s, model_id, studio_fields?
    last_job_id
  master:
    source_track_id, profile, purity_mode, intensity
    last_report
  tracks[]:
    id, role (draft|clean|master|residual), wav, metrics
  chat[]:
    role, text, proposed_actions[]

Schema: schemas/session.schema.json

„Rüberschalten“ kopiert den aktuellen Draft-Track als Master-Quelle. Create bleibt erhalten. Man kann zurück und neu generieren, ohne den Master zu verlieren.

5. Modelle — eine Liste, MiniMax ist nur ein Eintrag

Ja: alles in der einen Modelauswahl aus der Zeichnung. MiniMax ist kein Extra-Studio, sondern eine Zeile neben MusicGen, YuE, Stable Audio und den übrigen freien Engines.

2baudio hat das Muster schon: Felder backend + model + profile (MusicGen small/medium/large, yuegp, yue-interface, stable-audio-3, manual). Das Dropdown ist genau diese Liste, erweitert um MiniMax Music 3 und weitere freie Modelle, sobald ein Adapter steht.

5.1 Einträge in der Modelauswahl (Startset)

Eintrag in der Liste Kommt von Hinweis hinter der Kulisse
MiniMax Music 3 neu eigener GPU-Worker, zu groß für den MusicGen-Prozess
MusicGen Small / Medium / Large 2baudio bestehender Worker
YuE / YuE Interface 2baudio Backend-Hints erst listen, wenn der Worker wirklich antwortet
Stable Audio 3 2baudio Backend-Hint wie oben
weitere Free (Open, ACE-Step, AudioLDM2, …) Registry sobald Adapter + Lizenz klar

Der User sieht eine flache Auswahlliste. Keine Tabs „MiniMax | 2B | Free“.

Der Agent darf ein Modell vorschlagen und ins Dropdown schreiben. Der User kann jedes Modell trotzdem fest wählen.

Registry: schemas/model-registry.yaml

5.2 Warum trotzdem Adapter (nicht sichtbar)

Ein Dropdown ≠ ein Prozess. MiniMax füllt eine ZeroGPU allein. MusicGen/YuE laufen über 2baudio. Die Shell schickt denselben Intent (Genre/Style/Instr. + Lyrics + Neg. + Dauer) an den Adapter des gewählten Eintrags. Das ist Technik, keine zweite UI.

5.3 Physikalische Grenze FreeGPU

MiniMax Music 3 lädt Language Model + DiT + Vocoder + AoTI-Kernels. Das ist ein ZeroGPU-Prozess.

Deshalb nicht:

  • MiniMax + MusicGen + ACE-Step in einer Space-Runtime
  • ONUS-GPU-Modelle zusätzlich auf dieselbe Karte

Deshalb ja:

  • Hub-Space (UI, Agent, Session) auf CPU oder leichtem GPU
  • Worker-Spaces pro schwerer Engine
  • ONUS auf CPU (librosa/numpy) — lokal oder VPS, nicht auf der MiniMax-GPU

Das ist die einzige ehrliche FreeGPU-Strategie.

6. Agenten

Details: docs/05-agenten.md

6.1 Prompt-Agent (Create)

Aufgabe: aus Alltagssprache perfekte Modell-Inputs bauen.

Ausgabe immer strukturiert:

{
  "model_id": "minimax-music3",
  "genre_style_instruments": "dark riddim, 140 bpm, male vocal, analog bass",
  "lyrics": "[verse]\n...",
  "negative": "muddy low end, harsh sibilance",
  "duration_s": 60,
  "studio": {
    "global_metadata": "...",
    "vocal_details": "...",
    "arrangement": "..."
  },
  "musicgen_prompt": "flat prompt for 2B Audio"
}

MiniMax-Contract kommt 1:1 aus dem offiziellen Composer (BPM, Key, Emotional Progression, Vocal Gender, Instrument Lifecycle, nur erlaubte Lyric-Tags).
MusicGen-Contract kommt aus dem bestehenden build_prompt() in 2baudio.

MVP: JSON im Chat zeigen + Button Felder übernehmen.
Kein stilles Überschreiben ohne Sichtbarkeit.

6.2 Master-Agent (ONUS)

Aufgabe: hören/messen erklären und Parameter setzen, nicht Musik wegschleifen.

Gesetze (aus ONUS-Skill, unverhandelbar):

  • Original nie überschreiben
  • Default soft_keep_air, HPSS-Margin 2.0
  • Strict nur bei nachgewiesenem KI-Matsch
  • Air, Hall, Wärme, Töne bleiben
  • Report + Human Approval vor „Release“-Label

Beispiel-Dialog:

User: „klingt matschig oben, aber nicht tot machen“
Agent: Analyse zeigt ANTI-SUNO 4.2 → soft_keep_air −24 dB, Profil premium_clarity. Strict wäre falsch. Übernehmen?

7. Deployment — Empfehlung

Details: docs/07-deployment.md

Ziel Wofür gut Wofür schlecht
HF ZeroGPU MiniMax- und MusicGen-Worker, öffentliche Demo Multi-Modell, persistente Sessions, ONUS-Audio-Policy
Website Brand, Login später, Einbettung, 2Bfy-Anschluss Keine GPU
VPS Session-Store, ONUS, Agent, Orchestrator GPU teuer; MiniMax dort nur mit eigener Karte

Empfohlene Staffelung

Phase 1  HF Hub-Space (UI+Agent, CPU) + MiniMax-Worker (ZeroGPU) + 2baudio-Worker
Phase 2  Website /2b-studio/app/ bettet Hub per iFrame, gleicher Look
Phase 3  VPS übernimmt Session + ONUS + Agent; GPU-Jobs bleiben auf HF
Phase 4  Optional eigene GPU, wenn Queue/Kosten das erzwingen

Nicht Phase 1: alles auf einem VPS ohne GPU. MiniMax wäre dort tot.
Nicht Phase 1: ONUS-Audio auf öffentlichen HF-Disks ohne Löschkonzept.

FreeGPU bleibt der Generator. Die Website bleibt die Bühne. Der VPS wird das Gedächtnis.

8. Website-Integration

Heute existiert bereits:

  • Nav-Punkt 2B-Studio
  • Stationen: Grafik & Film, KI-Experte, Chatroom, Musikstudio
  • Musikstudio beschreibt exakt diese Pipeline, ist aber Platzhalter

Plan:

  1. /2b-studio/musik/ bekommt CTA Studio öffnen → Hub-Space oder später /2b-studio/app/
  2. iFrame-Variante zuerst (schnell, isoliert, HF-Queue sichtbar)
  3. Native Shell später: Website-UI, API gegen Orchestrator
  4. 2Bfy bleibt Release-Endpunkt (Phase 3+), nicht MVP

Look: bestehende 2B-Tokens (Syne / Space Grotesk, Amber #ffb02e, dunkle Flächen). Kein Hugging-Face-Citrus als Endzustand.

9. Was bewusst nicht im MVP ist

  • Stem-Separation und Multitrack-DAW
  • MIDI / ALS / FLP Export
  • Voice-Clone
  • Kommerzielle Closed-Modelle ohne klare Lizenz
  • Autopilot, der Songs ohne Confirm rendert
  • ONUS-Strict als Default
  • Gleichzeitiges Laden aller Modelle
  • Öffentliche persistente User-Library ohne Auth

10. Risiken und Gegenmittel

Risiko Gegenmittel
MiniMax-Lizenz / Rebranding Wrapper, keine Gewichtskopie ohne Prüfung; Attribution
ZeroGPU-Queue / Cold Start Kleine Modelle als Draft; Status ehrlich zeigen
2baudio FORCE_CPU + Dummy-WAV Worker härten, bevor UI ihn als „2B Audio“ verkauft
ONUS Proprietary + „Audio bleibt lokal“ Master zuerst lokal/VPS; HF nur mit Opt-in und TTL-Löschung
Agent halluziniert MiniMax-Caption Schema-Validierung, Retry, Fallback „Studio-Tab selbst füllen“
Ein 2000-Zeilen-Gradio-Monolith Shell dünn, Adapter dünn, MiniMax-Code nicht forken
Kosten LLM-Composer Kleines Modell / HF Router; Offline-Templates als Fallback

11. Phasen (Kurz)

Voll: docs/09-roadmap.md

Phase Ergebnis Host
0 · Plan dieses Repo, Freigabe —
1 · Create-MVP Einfache UI + MiniMax-Worker + Agent gibt Prompts aus HF
2 · Multi-Engine 2B Audio + 1 Free-Modell, Agent schreibt Felder HF Workers
3 · Master-MVP Grobes Master-Layout + Agent-Chat, ONUS dahinter VPS + HF
4 · Website iFrame in /2b-studio/musik/, Brand-Shell Website
5 · Gesprächs-Master Agent steuert ONUS mit Confirm VPS
6 · Release-Pfad Export-Presets, optional 2Bfy Website

12. Erfolgskriterien

Ein ungeschulter Artist kann in unter 90 Sekunden verstehen:

  1. Idee eintippen oder dem Agenten sagen
  2. Generate
  3. Hören
  4. Auf Master schalten
  5. Ein Profil wählen oder dem Agenten sagen „streaming-tauglich“
  6. WAV mitnehmen

Wenn dafür ein Handbuch nötig ist, ist die UI falsch.

13. Offene Entscheidungen (vor Code)

  1. Öffentlicher Space unter 2Btainment/2b-studio oder zuerst privat?
  2. Darf ONUS jemals Audio auf HF zwischenspeichern (TTL 1 h) oder strikt VPS/lokal?
  3. Agent-LLM: HF Router (wie MiniMax) oder eigenes kleines Modell?
  4. Soll 2baudio zum echten GPU-Worker gehärtet oder durch einen neuen MusicGen-Space ersetzt werden?
  5. Markenname der App: 2B-Studio (Website-konsistent) oder 2Btainment Studio?

14. Lesereihenfolge für die Umsetzung

  1. Dieser Masterplan
  2. docs/02-ux-ui.md + assets/wireframes.md
  3. docs/03-architektur.md
  4. docs/07-deployment.md
  5. docs/09-roadmap.md Phase 1 als erstes Build-Ticket