Spaces:
Running
Running
|
Download MASTERPLAN.md from 2Btainment/2b-studio: direct link, hf CLI and curl.
- Browser
- Download file 16.7 kB
-
https://huggingface.co/spaces/2Btainment/2b-studio/resolve/main/MASTERPLAN.md
- Command line
-
hf download hf://spaces/2Btainment/2b-studio/MASTERPLAN.md
-
curl -L -o MASTERPLAN.md https://huggingface.co/spaces/2Btainment/2b-studio/resolve/main/MASTERPLAN.md
16.7 kB
| # 2B-Studio — Kompletter Masterplan | |
| **Version:** 0.1 · Konzept | |
| **Datum:** 2026-08-23 | |
| **Klassifizierung:** Planungsartefakt, keine Implementierung | |
| **Auftrag:** MiniMax + 2B Audio + freie Modelle + ONUS-Mastering in einer super einfachen App, Agent unten, Website/HF/VPS als Zieloptionen. | |
| --- | |
| ## 1. Auftrag in einem Satz | |
| Ein **2B-Studio**, in dem ein Mensch in Alltagssprache ein Lied beschreibt, der Agent die Promptfelder füllt, man in **einer Modelauswahl** MiniMax oder jedes 2baudio-/Free-Modell wählt, den Track erzeugt, über den orangen Pfeil auf die Master-Ebene wechselt und ihn dort vor allem **im Agent-Chat** mastern kann — alles in einer Session, später auf der Website. | |
| ## 2. Warum nicht einfach die Spaces zusammenkleben | |
| | Asset | Was es heute ist | Was es nicht ist | | |
| |---|---|---| | |
| | [`MiniMaxAI/MiniMax-Music3`](https://huggingface.co/spaces/MiniMaxAI/MiniMax-Music3) | Sehr gutes Create-UI (Simple/Studio), Streaming-Player, LLM-Composer, ZeroGPU | Kein 2B-Branding, kein Multi-Modell, kein Mastering, kein Session-Switch | | |
| | [`2Btainment/2baudio`](https://huggingface.co/spaces/2Btainment/2baudio) | MusicGen-Worker mit Job-API, Profilen, Lyrics-Parser | Kein Endnutzer-Studio, `FORCE_CPU=True`, Dummy-Fallback | | |
| | Website `/2b-studio/musik/` | Marketing-Pipeline Gen→Edit→Mix→Master→Format→Release | Keine App, Status „Pilotphase“ | | |
| | ONUS | Lokale Analyze/Purity/Master/Report-Engine, auditierbar | Kein Web-UI, Proprietary, Audio soll lokal bleiben | | |
| Ein Fork von MiniMaxs 96-kB-`app.py` plus ONUS plus MusicGen in einem Prozess wäre unwartbar und auf FreeGPU physikalisch zu groß. | |
| **Leitentscheidung:** Eine eigene **2B-Studio-Shell** orchestriert Engines über Adapter. MiniMax bleibt Create-Engine. 2baudio bleibt (zuerst) MusicGen-Worker. ONUS bleibt Master-Engine. | |
| ## 3. Produkterlebnis | |
| Zwei Ebenen, ein Track, ein Chat. **Create-Layout ist die Excalidraw-Skizze** (2026-08-24), nicht ein MiniMax-Klon. | |
| ```text | |
| ┌──────────────────────────────────────────────────────────────┐ | |
| │ [ WAVEFORM / PLAYER ] │ | |
| │ ⬇ ⏹ ▶ ⏸ − ──────── Master → │ | |
| │ [ Modelauswahl ▾ ] │ | |
| │ │ | |
| │ [Genre/Style/Instr.] [Lyrics] [Neg.] │ Bibliothek │ │ | |
| │ [Feineinstellungen] [ KI-Musikproducer- │ Dateien │ │ | |
| │ | Agent + Prompt- │ │ │ | |
| │ | Spezialist Chat │ │ │ | |
| │ | UserInput → ]│ │ │ | |
| └──────────────────────────────────────────────────────────────┘ | |
| ``` | |
| Der Agent sitzt **unten in der Mitte** und schießt Prompts **nach oben** in die drei Felder (grüne Pfeile in der Skizze). | |
| ### 3.1 Create-Ebene (exakt die Skizze) | |
| Von oben nach unten, von links nach rechts: | |
| 1. **Waveform-Player** — immer oben, groß. Darunter die Transportleiste: Download, Stop, Play, Pause, optional Trim/Kürzung. | |
| 2. **Master-Pfeil** — orange, rechts neben dem Transport. Wechselt die Ebene, nimmt den aktuellen Track mit. | |
| 3. **Modelauswahl** — **ein** Dropdown unter dem Player. Darin stehen MiniMax **und** alle Modelle/Backends von `2baudio` (MusicGen small/medium/large, YuE, Stable Audio, …) plus weitere freie Engines, sobald sie laufen. Keine zweite Modell-UI, keine drei Produkt-Tabs. | |
| 4. **Drei Promptfelder in einer Reihe** | |
| - **Genre / Style / Instrumente** — der eigentliche Musik-Prompt | |
| - **Lyrics** — optional, Sektions-Tags erlaubt | |
| - **Neg.** — Negative Prompt / Ausschlüsse | |
| - jedes Feld hat ein kleines Übernehmen-/Laden-Icon (Agent oder Bibliothek) | |
| 5. **Feineinstellungen** — schmale Box links unten (Dauer, Seed, Guidance, Studio-Caption, modellspezifisch). Default zugeklappt/klein, nicht die Hauptfläche. | |
| 6. **KI-Musikproducer-Agent + Prompt-Spezialist** — große Chatfläche in der Mitte unten, UserInput + Senden. Füllt die drei Felder oben. | |
| 7. **Bibliothek / Dateien** — rechte Spalte: Session-Takes, Uploads, Masters, Residual. | |
| Es gibt **kein** separates Riesen-„Idee“-Feld. Die Idee lebt im Chat. Die drei blauen Felder sind das, was das Modell wirklich bekommt. | |
| MiniMax-Studiofelder (Global Metadata, Vocal Details, Arrangement) liegen in **Feineinstellungen**, nicht als Default-UI. | |
| ### 3.2 Master-Ebene (nur grobes Layout, plus Agent) | |
| [audiomaster.ai/master](https://audiomaster.ai/master) ist **keine Feature-Vorlage**. Nur der ungefähre Aufbau: große Hörfläche oben, darunter Arbeitsfläche, klarer Export. Keine Stem-Regler, kein AudioMaster-Klon, kein deren Modell. | |
| Was 2B-Master wirklich ist: | |
| 1. Dieselbe Waveform/Transport-Zeile wie Create (Track kommt mit über den orangen Pfeil, oder Upload). | |
| 2. Eine schlichte Master-Arbeitsfläche (Quelle, wenige 2B/ONUS-Regler, Download) — räumlich ähnlich, inhaltlich eigen. | |
| 3. **Unten derselbe integrierte Agent-Chat** wie auf Create, nur als Mastering-Agent. Darüber wird der Track im Gespräch bearbeitet und gemastert. | |
| 4. Bibliothek rechts bleibt. | |
| ONUS bleibt die Engine hinter den Reglern und dem Agenten, nicht die Optik. | |
| ### 3.3 Agent-Dock (unten, immer da) | |
| Zwei Persönlichkeiten, ein Dock. Die Ebene wechselt die Rolle. | |
| | Ebene | Agent | Darf zuerst | Darf später | | |
| |---|---|---|---| | |
| | Create | Prompt-Agent | Prompts **ausgeben** und auf Wunsch **in Felder schreiben** | Generate anstoßen | | |
| | Master | ONUS-/Master-Agent | Analyse erklären, Parameter vorschlagen | Purity/Master ausführen | | |
| **Entwicklungsreihenfolge (vom Auftrag bestätigt):** | |
| 1. Agent gibt Prompts nur aus (Copy / „Übernehmen“) | |
| 2. Agent schreibt Felder direkt | |
| 3. Agent darf Jobs starten (mit sichtbarem Confirm) | |
| Kein verstecktes Autopilot-Generate im MVP. | |
| ## 4. Zielarchitektur | |
| ```text | |
| ┌─────────────────────────────┐ | |
| │ 2B-Studio Shell (UI) │ | |
| │ Create · Master · Agent │ | |
| └──────────────┬──────────────┘ | |
| │ Session-Bus | |
| ┌──────────────▼──────────────┐ | |
| │ Studio Orchestrator │ | |
| │ jobs · tracks · actions │ | |
| └──────┬───────────┬──────────┘ | |
| ┌───────────────┼───────────┼───────────────┐ | |
| ▼ ▼ ▼ ▼ | |
| MiniMax Adapter 2B-Audio Adapter Free-Model ONUS Adapter | |
| Music 3 Worker MusicGen Worker Adapters analyze/purity/master | |
| │ │ │ │ | |
| └───────────────┴───────────┴───────────────┘ | |
| Session Store | |
| (Track, Prompts, Reports) | |
| ``` | |
| ### 4.1 Warum Adapter | |
| Jedes Modell hat andere Inputs: | |
| - MiniMax braucht **Structured Caption** (global / vocal / arrangement) + getaggte Lyrics | |
| - MusicGen braucht einen **flachen Prompt** plus negative terms | |
| - Stable Audio Open braucht Prompt + Dauer + ggf. negatives | |
| - ONUS braucht eine **WAV-Datei** und ein Profil, keinen Prompt | |
| Die Shell kennt nur ein internes **Intent-Objekt**. Adapter übersetzen. | |
| ### 4.2 Session ist die Wahrheit | |
| Ein Browser-Tab = eine Session. | |
| ```text | |
| Session | |
| id, created_at, locale | |
| create: | |
| genre_style_instruments, lyrics, negative | |
| duration_s, model_id, studio_fields? | |
| last_job_id | |
| master: | |
| source_track_id, profile, purity_mode, intensity | |
| last_report | |
| tracks[]: | |
| id, role (draft|clean|master|residual), wav, metrics | |
| chat[]: | |
| role, text, proposed_actions[] | |
| ``` | |
| Schema: [`schemas/session.schema.json`](./schemas/session.schema.json) | |
| „Rüberschalten“ kopiert den aktuellen Draft-Track als Master-Quelle. Create bleibt erhalten. Man kann zurück und neu generieren, ohne den Master zu verlieren. | |
| ## 5. Modelle — eine Liste, MiniMax ist nur ein Eintrag | |
| Ja: **alles in der einen Modelauswahl aus der Zeichnung.** MiniMax ist kein Extra-Studio, sondern eine Zeile neben MusicGen, YuE, Stable Audio und den übrigen freien Engines. | |
| `2baudio` hat das Muster schon: Felder `backend` + `model` + `profile` (MusicGen small/medium/large, `yuegp`, `yue-interface`, `stable-audio-3`, `manual`). Das Dropdown ist genau diese Liste, erweitert um MiniMax Music 3 und weitere freie Modelle, sobald ein Adapter steht. | |
| ### 5.1 Einträge in der Modelauswahl (Startset) | |
| | Eintrag in der Liste | Kommt von | Hinweis hinter der Kulisse | | |
| |---|---|---| | |
| | MiniMax Music 3 | neu | eigener GPU-Worker, zu groß für den MusicGen-Prozess | | |
| | MusicGen Small / Medium / Large | `2baudio` | bestehender Worker | | |
| | YuE / YuE Interface | `2baudio` Backend-Hints | erst listen, wenn der Worker wirklich antwortet | | |
| | Stable Audio 3 | `2baudio` Backend-Hint | wie oben | | |
| | weitere Free (Open, ACE-Step, AudioLDM2, …) | Registry | sobald Adapter + Lizenz klar | | |
| Der User sieht **eine flache Auswahlliste**. Keine Tabs „MiniMax | 2B | Free“. | |
| Der Agent darf ein Modell vorschlagen und ins Dropdown schreiben. Der User kann jedes Modell trotzdem fest wählen. | |
| Registry: [`schemas/model-registry.yaml`](./schemas/model-registry.yaml) | |
| ### 5.2 Warum trotzdem Adapter (nicht sichtbar) | |
| Ein Dropdown ≠ ein Prozess. MiniMax füllt eine ZeroGPU allein. MusicGen/YuE laufen über `2baudio`. Die Shell schickt denselben Intent (Genre/Style/Instr. + Lyrics + Neg. + Dauer) an den Adapter des gewählten Eintrags. Das ist Technik, keine zweite UI. | |
| ### 5.3 Physikalische Grenze FreeGPU | |
| MiniMax Music 3 lädt Language Model + DiT + Vocoder + AoTI-Kernels. Das ist **ein** ZeroGPU-Prozess. | |
| Deshalb **nicht**: | |
| - MiniMax + MusicGen + ACE-Step in einer Space-Runtime | |
| - ONUS-GPU-Modelle zusätzlich auf dieselbe Karte | |
| Deshalb **ja**: | |
| - **Hub-Space** (UI, Agent, Session) auf CPU oder leichtem GPU | |
| - **Worker-Spaces** pro schwerer Engine | |
| - ONUS auf **CPU** (librosa/numpy) — lokal oder VPS, nicht auf der MiniMax-GPU | |
| Das ist die einzige ehrliche FreeGPU-Strategie. | |
| ## 6. Agenten | |
| Details: [`docs/05-agenten.md`](./docs/05-agenten.md) | |
| ### 6.1 Prompt-Agent (Create) | |
| Aufgabe: aus Alltagssprache **perfekte Modell-Inputs** bauen. | |
| Ausgabe immer strukturiert: | |
| ```json | |
| { | |
| "model_id": "minimax-music3", | |
| "genre_style_instruments": "dark riddim, 140 bpm, male vocal, analog bass", | |
| "lyrics": "[verse]\n...", | |
| "negative": "muddy low end, harsh sibilance", | |
| "duration_s": 60, | |
| "studio": { | |
| "global_metadata": "...", | |
| "vocal_details": "...", | |
| "arrangement": "..." | |
| }, | |
| "musicgen_prompt": "flat prompt for 2B Audio" | |
| } | |
| ``` | |
| MiniMax-Contract kommt 1:1 aus dem offiziellen Composer (BPM, Key, Emotional Progression, Vocal Gender, Instrument Lifecycle, nur erlaubte Lyric-Tags). | |
| MusicGen-Contract kommt aus dem bestehenden `build_prompt()` in 2baudio. | |
| MVP: JSON im Chat zeigen + Button **Felder übernehmen**. | |
| Kein stilles Überschreiben ohne Sichtbarkeit. | |
| ### 6.2 Master-Agent (ONUS) | |
| Aufgabe: hören/messen erklären und Parameter setzen, **nicht** Musik wegschleifen. | |
| Gesetze (aus ONUS-Skill, unverhandelbar): | |
| - Original nie überschreiben | |
| - Default `soft_keep_air`, HPSS-Margin 2.0 | |
| - Strict nur bei nachgewiesenem KI-Matsch | |
| - Air, Hall, Wärme, Töne bleiben | |
| - Report + Human Approval vor „Release“-Label | |
| Beispiel-Dialog: | |
| > User: „klingt matschig oben, aber nicht tot machen“ | |
| > Agent: Analyse zeigt ANTI-SUNO 4.2 → soft_keep_air −24 dB, Profil `premium_clarity`. Strict wäre falsch. Übernehmen? | |
| ## 7. Deployment — Empfehlung | |
| Details: [`docs/07-deployment.md`](./docs/07-deployment.md) | |
| | Ziel | Wofür gut | Wofür schlecht | | |
| |---|---|---| | |
| | **HF ZeroGPU** | MiniMax- und MusicGen-Worker, öffentliche Demo | Multi-Modell, persistente Sessions, ONUS-Audio-Policy | | |
| | **Website** | Brand, Login später, Einbettung, 2Bfy-Anschluss | Keine GPU | | |
| | **VPS** | Session-Store, ONUS, Agent, Orchestrator | GPU teuer; MiniMax dort nur mit eigener Karte | | |
| ### Empfohlene Staffelung | |
| ```text | |
| Phase 1 HF Hub-Space (UI+Agent, CPU) + MiniMax-Worker (ZeroGPU) + 2baudio-Worker | |
| Phase 2 Website /2b-studio/app/ bettet Hub per iFrame, gleicher Look | |
| Phase 3 VPS übernimmt Session + ONUS + Agent; GPU-Jobs bleiben auf HF | |
| Phase 4 Optional eigene GPU, wenn Queue/Kosten das erzwingen | |
| ``` | |
| **Nicht** Phase 1: alles auf einem VPS ohne GPU. MiniMax wäre dort tot. | |
| **Nicht** Phase 1: ONUS-Audio auf öffentlichen HF-Disks ohne Löschkonzept. | |
| FreeGPU bleibt der Generator. Die Website bleibt die Bühne. Der VPS wird das Gedächtnis. | |
| ## 8. Website-Integration | |
| Heute existiert bereits: | |
| - Nav-Punkt **2B-Studio** | |
| - Stationen: Grafik & Film, KI-Experte, Chatroom, **Musikstudio** | |
| - Musikstudio beschreibt exakt diese Pipeline, ist aber Platzhalter | |
| Plan: | |
| 1. `/2b-studio/musik/` bekommt CTA **Studio öffnen** → Hub-Space oder später `/2b-studio/app/` | |
| 2. iFrame-Variante zuerst (schnell, isoliert, HF-Queue sichtbar) | |
| 3. Native Shell später: Website-UI, API gegen Orchestrator | |
| 4. 2Bfy bleibt Release-Endpunkt (Phase 3+), nicht MVP | |
| Look: bestehende 2B-Tokens (Syne / Space Grotesk, Amber `#ffb02e`, dunkle Flächen). Kein Hugging-Face-Citrus als Endzustand. | |
| ## 9. Was bewusst nicht im MVP ist | |
| - Stem-Separation und Multitrack-DAW | |
| - MIDI / ALS / FLP Export | |
| - Voice-Clone | |
| - Kommerzielle Closed-Modelle ohne klare Lizenz | |
| - Autopilot, der Songs ohne Confirm rendert | |
| - ONUS-Strict als Default | |
| - Gleichzeitiges Laden aller Modelle | |
| - Öffentliche persistente User-Library ohne Auth | |
| ## 10. Risiken und Gegenmittel | |
| | Risiko | Gegenmittel | | |
| |---|---| | |
| | MiniMax-Lizenz / Rebranding | Wrapper, keine Gewichtskopie ohne Prüfung; Attribution | | |
| | ZeroGPU-Queue / Cold Start | Kleine Modelle als Draft; Status ehrlich zeigen | | |
| | 2baudio FORCE_CPU + Dummy-WAV | Worker härten, bevor UI ihn als „2B Audio“ verkauft | | |
| | ONUS Proprietary + „Audio bleibt lokal“ | Master zuerst lokal/VPS; HF nur mit Opt-in und TTL-Löschung | | |
| | Agent halluziniert MiniMax-Caption | Schema-Validierung, Retry, Fallback „Studio-Tab selbst füllen“ | | |
| | Ein 2000-Zeilen-Gradio-Monolith | Shell dünn, Adapter dünn, MiniMax-Code nicht forken | | |
| | Kosten LLM-Composer | Kleines Modell / HF Router; Offline-Templates als Fallback | | |
| ## 11. Phasen (Kurz) | |
| Voll: [`docs/09-roadmap.md`](./docs/09-roadmap.md) | |
| | Phase | Ergebnis | Host | | |
| |---|---|---| | |
| | **0 · Plan** | dieses Repo, Freigabe | — | | |
| | **1 · Create-MVP** | Einfache UI + MiniMax-Worker + Agent gibt Prompts aus | HF | | |
| | **2 · Multi-Engine** | 2B Audio + 1 Free-Modell, Agent schreibt Felder | HF Workers | | |
| | **3 · Master-MVP** | Grobes Master-Layout + Agent-Chat, ONUS dahinter | VPS + HF | | |
| | **4 · Website** | iFrame in `/2b-studio/musik/`, Brand-Shell | Website | | |
| | **5 · Gesprächs-Master** | Agent steuert ONUS mit Confirm | VPS | | |
| | **6 · Release-Pfad** | Export-Presets, optional 2Bfy | Website | | |
| ## 12. Erfolgskriterien | |
| Ein ungeschulter Artist kann in **unter 90 Sekunden** verstehen: | |
| 1. Idee eintippen oder dem Agenten sagen | |
| 2. Generate | |
| 3. Hören | |
| 4. Auf Master schalten | |
| 5. Ein Profil wählen oder dem Agenten sagen „streaming-tauglich“ | |
| 6. WAV mitnehmen | |
| Wenn dafür ein Handbuch nötig ist, ist die UI falsch. | |
| ## 13. Offene Entscheidungen (vor Code) | |
| 1. Öffentlicher Space unter `2Btainment/2b-studio` oder zuerst privat? | |
| 2. Darf ONUS jemals Audio auf HF zwischenspeichern (TTL 1 h) oder strikt VPS/lokal? | |
| 3. Agent-LLM: HF Router (wie MiniMax) oder eigenes kleines Modell? | |
| 4. Soll 2baudio zum echten GPU-Worker gehärtet oder durch einen neuen MusicGen-Space ersetzt werden? | |
| 5. Markenname der App: **2B-Studio** (Website-konsistent) oder **2Btainment Studio**? | |
| ## 14. Lesereihenfolge für die Umsetzung | |
| 1. Dieser Masterplan | |
| 2. [`docs/02-ux-ui.md`](./docs/02-ux-ui.md) + [`assets/wireframes.md`](./assets/wireframes.md) | |
| 3. [`docs/03-architektur.md`](./docs/03-architektur.md) | |
| 4. [`docs/07-deployment.md`](./docs/07-deployment.md) | |
| 5. [`docs/09-roadmap.md`](./docs/09-roadmap.md) Phase 1 als erstes Build-Ticket | |