2b-studio / BLUEPRINT.md
2Btainment's picture
ACE-Step Worker angebunden (Adapter, Registry, Router)
b3eaf35 verified
|
Raw History Blame Contribute Delete
3.86 kB
# 2B-Studio – Build-Blueprint
## Stack
- Python 3.12
- Gradio 6.x
- Pydantic 2
- `gradio_client` / `huggingface_hub`
- pytest + ruff
- HF-Shell leichtgewichtig; schwere Modelle als getrennte Worker
- ONUS lokal/VPS
## Zielstruktur
```text
2b-studio-space/
├── app.py
├── pyproject.toml
├── studio/
│ ├── ui.py
│ ├── state.py
│ ├── registry.py
│ ├── agent.py
│ ├── library.py
│ ├── mastering.py
│ └── adapters/
│ ├── base.py
│ ├── mock.py
│ ├── two_b_audio.py
│ ├── minimax.py
│ └── onus.py
├── prompts/
│ ├── producer.md
│ └── mastering.md
└── tests/
```
## Create-UI
```text
Waveform
Download · Stop · Play/Generate · Pause · Trim · Master →
Modelauswahl (ein Dropdown)
Genre/Style/Instrumente | Lyrics | Neg. | Bibliothek
Feineinstellungen | Musikproducer-Agent | Bibliothek
```
Desktop-Grid: `160px minmax(520px,1fr) 220px`.
Mobile: Player → Dropdown → drei Felder → Agent-Sheet → Bibliothek/Fein als Tabs.
## Ein Dropdown
Die Registry liefert eine flache Liste:
```text
MiniMax Music 3
MusicGen Small
MusicGen Medium
MusicGen Large
YuE
YuE Interface
Stable Audio 3
weitere aktivierte Free-Modelle
```
Nur funktionierende Einträge sind aktiv. `model_id` entscheidet intern über den Adapter:
```text
minimax-* → MiniMaxAdapter
musicgen/yue/stable-* → TwoBAudioAdapter
weitere → eigener Adapter
```
## Kernobjekte
```python
class GenerateRequest:
model_id: str
genre_style_instruments: str
lyrics: str
negative: str
duration_s: int
advanced: dict
class Track:
id: str
role: str # draft | upload | clean | residual | master
path: str
parent_id: str | None
metadata: dict
class FieldProposal:
model_id: str | None
genre_style_instruments: str
lyrics: str
negative: str
rationale: str
```
## Adapter-Vertrag
```python
class MusicAdapter(Protocol):
@property
def model_ids(self) -> tuple[str, ...]: ...
def health(self) -> bool: ...
def generate(self, request: GenerateRequest) -> Track: ...
```
- `TwoBAudioAdapter`: mappt auf `generate(job_id, project, backend, model, profile, genre_tags, lyrics, parameters_json)`.
- `MiniMaxAdapter`: mappt dieselben UI-Felder auf Structured Caption + Lyrics.
- Exceptions werden sichtbar; Dummy-WAV gilt als Fehler.
## Agent
Input: Chattext + aktueller Session-State.
Output: validiertes `FieldProposal`.
```text
User → Producer-Agent → Vorschau → Übernehmen → drei Felder + Dropdown
```
Fallback ohne LLM: deterministische Templates. Keine Audio-Datei geht an das Chat-LLM.
## Master
Kein AudioMaster-Klon. Nur ähnlicher grober Seitenaufbau.
```text
aktueller Track/Upload → Mastering-Agent → validierte Aktion → ONUS
→ neuer Track (master) + Report
```
Original unverändert; `soft_keep_air` Default; Strict nur nach Bestätigung.
## State und Dateien
- Ein Browser-Tab = eine Session.
- Dateien unter temporärem Session-Verzeichnis.
- Bibliothek zeigt Drafts, Uploads, Clean, Residual, Master.
- Ableitungen erhalten `parent_id`.
- HF-TTL; persistente Sessions erst auf VPS.
## Konfiguration
```text
HF_TOKEN=
AGENT_MODEL_ID=
TWO_B_AUDIO_SPACE_ID=2Btainment/2baudio
MINIMAX_SPACE_ID=
ONUS_BASE_DIR=
STUDIO_OUTPUT_DIR=
```
Secrets nie im Frontend oder Git.
## Phase-1-Lieferumfang
- lauffähige Shell nach Zeichnung
- MockAdapter mit deterministischer Test-WAV
- Session + Bibliothek
- ein Model-Dropdown aus Registry
- Agent-Dock als UI, zunächst Mock-Vorschlag
- Create/Master-Switch, Master zunächst Platzhalter
- Tests und lokale Startanweisung
Nicht in Phase 1: echte HF-Aufrufe, ONUS, Website, Deployment.