2b-studio / BLUEPRINT.md
2Btainment's picture
ACE-Step Worker angebunden (Adapter, Registry, Router)
b3eaf35 verified
|
Raw History Blame Contribute Delete
3.86 kB

A newer version of the Gradio SDK is available: 6.32.0

Upgrade

2B-Studio – Build-Blueprint

Stack

  • Python 3.12
  • Gradio 6.x
  • Pydantic 2
  • gradio_client / huggingface_hub
  • pytest + ruff
  • HF-Shell leichtgewichtig; schwere Modelle als getrennte Worker
  • ONUS lokal/VPS

Zielstruktur

2b-studio-space/
├── app.py
├── pyproject.toml
├── studio/
│   ├── ui.py
│   ├── state.py
│   ├── registry.py
│   ├── agent.py
│   ├── library.py
│   ├── mastering.py
│   └── adapters/
│       ├── base.py
│       ├── mock.py
│       ├── two_b_audio.py
│       ├── minimax.py
│       └── onus.py
├── prompts/
│   ├── producer.md
│   └── mastering.md
└── tests/

Create-UI

Waveform
Download · Stop · Play/Generate · Pause · Trim · Master →
Modelauswahl (ein Dropdown)
Genre/Style/Instrumente | Lyrics | Neg. | Bibliothek
Feineinstellungen       | Musikproducer-Agent | Bibliothek

Desktop-Grid: 160px minmax(520px,1fr) 220px.
Mobile: Player → Dropdown → drei Felder → Agent-Sheet → Bibliothek/Fein als Tabs.

Ein Dropdown

Die Registry liefert eine flache Liste:

MiniMax Music 3
MusicGen Small
MusicGen Medium
MusicGen Large
YuE
YuE Interface
Stable Audio 3
weitere aktivierte Free-Modelle

Nur funktionierende Einträge sind aktiv. model_id entscheidet intern über den Adapter:

minimax-*             → MiniMaxAdapter
musicgen/yue/stable-* → TwoBAudioAdapter
weitere               → eigener Adapter

Kernobjekte

class GenerateRequest:
    model_id: str
    genre_style_instruments: str
    lyrics: str
    negative: str
    duration_s: int
    advanced: dict

class Track:
    id: str
    role: str  # draft | upload | clean | residual | master
    path: str
    parent_id: str | None
    metadata: dict

class FieldProposal:
    model_id: str | None
    genre_style_instruments: str
    lyrics: str
    negative: str
    rationale: str

Adapter-Vertrag

class MusicAdapter(Protocol):
    @property
    def model_ids(self) -> tuple[str, ...]: ...
    def health(self) -> bool: ...
    def generate(self, request: GenerateRequest) -> Track: ...
  • TwoBAudioAdapter: mappt auf generate(job_id, project, backend, model, profile, genre_tags, lyrics, parameters_json).
  • MiniMaxAdapter: mappt dieselben UI-Felder auf Structured Caption + Lyrics.
  • Exceptions werden sichtbar; Dummy-WAV gilt als Fehler.

Agent

Input: Chattext + aktueller Session-State.
Output: validiertes FieldProposal.

User → Producer-Agent → Vorschau → Übernehmen → drei Felder + Dropdown

Fallback ohne LLM: deterministische Templates. Keine Audio-Datei geht an das Chat-LLM.

Master

Kein AudioMaster-Klon. Nur ähnlicher grober Seitenaufbau.

aktueller Track/Upload → Mastering-Agent → validierte Aktion → ONUS
                     → neuer Track (master) + Report

Original unverändert; soft_keep_air Default; Strict nur nach Bestätigung.

State und Dateien

  • Ein Browser-Tab = eine Session.
  • Dateien unter temporärem Session-Verzeichnis.
  • Bibliothek zeigt Drafts, Uploads, Clean, Residual, Master.
  • Ableitungen erhalten parent_id.
  • HF-TTL; persistente Sessions erst auf VPS.

Konfiguration

HF_TOKEN=
AGENT_MODEL_ID=
TWO_B_AUDIO_SPACE_ID=2Btainment/2baudio
MINIMAX_SPACE_ID=
ONUS_BASE_DIR=
STUDIO_OUTPUT_DIR=

Secrets nie im Frontend oder Git.

Phase-1-Lieferumfang

  • lauffähige Shell nach Zeichnung
  • MockAdapter mit deterministischer Test-WAV
  • Session + Bibliothek
  • ein Model-Dropdown aus Registry
  • Agent-Dock als UI, zunächst Mock-Vorschlag
  • Create/Master-Switch, Master zunächst Platzhalter
  • Tests und lokale Startanweisung

Nicht in Phase 1: echte HF-Aufrufe, ONUS, Website, Deployment.