--- title: Tune-Whisperer emoji: 🎧 colorFrom: indigo colorTo: purple sdk: docker app_port: 7860 pinned: false hf_oauth: true short_description: Forensic audio lab – HPSS + Demucs stems, arrangement mixer --- > **Hugging Face Space note:** Public demo instance. The project library is owner-only (HF login as 2Btainment); every other visitor works in an isolated guest workspace (auto-deleted after 24 h). Demucs htdemucs v4 runs on CPU (max. 120 s audio per job); HPSS has no duration limit. Upload limit 200 MiB. Projects are stored in an attached HF Storage Bucket at `/data` if mounted, otherwise in `/tmp` (lost on restart). Do not upload private/confidential audio. # Tune-Whisperer — FUSION STUDIO v1.1 **Ein Projekt → eine Quelldatei → Ω FUSION → alle lokal tatsĂ€chlich erzeugbaren Stems.** Das neue **Ω FUSION — One-Step Stem Engine** kombiniert die bisher getrennten ArbeitsgĂ€nge. Es gibt **einen Startknopf**, **einen Jobstatus** und **eine gemeinsame Studio-Timeline** mit pro Spur ausgewiesener Herkunft. ## Start Windows: `start_windows.bat`. macOS/Linux: `bash start.sh`. Oder manuell mit Python 3.11+: ```bash python -m venv .venv # Windows: .venv\\Scripts\\Activate.ps1 # macOS/Linux: source .venv/bin/activate python -m pip install -e ".[dev]" python -m pytest -q python -m uvicorn app.server:app --host 127.0.0.1 --port 8000 ``` Dann `http://127.0.0.1:8000` öffnen, Audiodatei importieren und **Ω FUSION — Alles in einem Schritt trennen** wĂ€hlen. ## Was passiert in einem einzigen Job? 1. **Vorinventur:** Das kleine lokale Modell schĂ€tzt mögliche Klangklassen. Diese Hypothesen sind keine isolierten Instrumente. 2. **PrimĂ€rseparation:** Falls Demucs lokal mit kompatiblen Gewichten und Laufzeit verfĂŒgbar ist: `Vocals`, `Drums`, `Bass`, `Other`, `Residual`. Sonst: HPSS mit `Harmonic`, `Percussive`, `Residual`. 3. **Kick/Bassline-Ableitung:** Im Demucs-Modus wird das Kick-Tiefband aus **Drums** und die Bassline aus **Bass** geschĂ€tzt; im HPSS-Modus aus **Percussive** beziehungsweise **Harmonic**. Diese geschĂ€tzten BĂ€nder werden den Elternspuren rechnerisch abgezogen, damit sie im neutralen Gesamtmix nicht doppelt enthalten sind. 4. **Störstellen-Scan:** Klickverdacht wird markiert. Kein Auto-Denoising und keine stillschweigende Löschung. Erst nach ausdrĂŒcklicher Auswahl einer Reparatur wird eine eigene `Noise`-Differenzspur erzeugt. 5. **Optionale OMNISTEM-Verarbeitung:** Im Trennplan vorhandene und technisch unterstĂŒtzte zusĂ€tzliche DSP-Proxies (etwa Höhen-/Mittenimpulse) werden aus existierenden Elternstems kompensiert abgeleitet. 6. **Provenienz & Mix:** Alle tatsĂ€chlich vorhandenen Spuren stehen im Mixer bereit. Unter **Herkunft aller Spuren** steht, welche Spuren auf KI-Separation oder geschĂ€tzter DSP-Zerlegung beruhen. **Es gibt kein Wunder-Output:** Ohne Demucs keine gesonderten Vocal-Stems. Ohne manuelle Freigabe keine vermeintlich "bereinigte" Noise-Audiospur. Keine ungeprĂŒfte Instrumentenerkennung oder perfekte Restaurierung behaupten. ## KI-Adapter aktivieren (optional) Die optionale Demucs-AbhĂ€ngigkeit wird mit `python -m pip install -e ".[neural]"` installiert. Die kompatiblen **lokalen Modellgewichte** mĂŒssen separat rechtmĂ€ĂŸig bereitgestellt und ĂŒber `ABSOLUTION_DEMUCS_REPO` angegeben werden. Die OberflĂ€che und die API markieren den Adapter erst dann als verfĂŒgbar, wenn **Laufzeit und Checkpoints** vorhanden sind. Keine Gewichte werden vom Projekt automatisch heruntergeladen. Demucs v4 unterstĂŒtzt hier nur die feste 4-Stem-Separation, keine Textsteuerung fĂŒr beliebige Instrumente. ## Störschutz Die unverĂ€nderte Datei wird erhalten. Die Klickanalyse ist nur ein Verdacht. Die Noise-Differenzspur wird nach manueller Genehmigung hörbar dem neutralen Stem-Mix hinzugefĂŒgt. **Mute auf Noise** entfernt ausschließlich den freigegebenen Reparaturanteil, keine zusĂ€tzlich vermuteten Klanganteile. ## API `POST /api/v1/jobs/fusion` mit ```json {"project_id":"", "mode":"auto", "include_event_proxies":true, "scan_noise":true} ``` `mode` kann `auto`, `neural` oder `dsp` sein. Status: `GET /api/v1/jobs/{job_id}`. Provenienz und aktuelle Stems: `GET /api/v1/projects/{project_id}`. ## Installation und Sicherheit Nur lokal auf `127.0.0.1` verwenden; es gibt keine Nutzer-Authentifizierung. AuftrĂ€ge sind prozesslokal und werden bei Server-Neustart nicht fortgesetzt. Kein Remote-Dienst, keine Telemetrie und keine automatischen Modell-Downloads. Die Stems werden als separate Float-WAV-Dateien berechnet. Bei langen Tracks beachten: Demucs benötigt unter UmstĂ€nden viel RAM/VRAM. ## Tests `python -m pytest -q` prĂŒft echte API-Integration, Audioexport, Mix-Konsistenz, Modellbereitschaft und UI-VertrĂ€ge. Das separate Browser-End-to-End-Verhalten gegen einen laufenden HTTP-Server wurde hier nicht vollstĂ€ndig geprĂŒft. --- ## Historische Dokumentation # Tune-Whisperer — Photoreal Unified Studio v1.0 **Eine einzige Studio-Seite.** Datei importieren → Spuren analysieren und trennen → Bass/Störereignisse gezielt behandeln → Mix exportieren. ## Schnellstart Windows: `start_windows.bat` macOS / Linux: `bash start.sh` Alternative, falls Startskripte nicht passen: ```bash python -m venv .venv # Windows: .venv\\Scripts\\activate # macOS/Linux: source .venv/bin/activate python -m pip install -e '.[dev]' python -m uvicorn app.server:app --host 127.0.0.1 --port 8000 ``` Öffne `http://127.0.0.1:8000`. **Studio-Navigation:** Oben ist immer das aktive Projekt samt Quelldatei sichtbar. Über **Projekte** öffnest du die durchsuchbare Bibliothek (Shortcut `Strg/Cmd+K`); ĂŒber **+ Datei importieren** entsteht fĂŒr jede neue Datei ein eigenstĂ€ndiges Projekt. Alle Werkzeuge liegen rechts in drei Bereichen: `Analysieren & trennen`, `Bass & Störungen`, `Export & QualitĂ€tsbericht`. **Originalschutz:** Originaldateien bleiben unverĂ€ndert, echte Stems werden im Mixer angezeigt. Mute/Solo/Gain/Pan sowie Filter/SĂ€ttigung/Stereobreite wirken auf den nĂ€chsten berechneten Mix. Kick und Bassline sind DSP-SchĂ€tzungen und werden im neutralen Mix gegen Basisstems kompensiert. Die Störspur ist eine ausdrĂŒcklich freigegebene Reparatur-Differenz; der neutrale Mix lĂ€sst sie hörbar. **Bildgestaltung:** Das lokal eingebundene Studiofoto erzeugt die warme, photorealistische AtmosphĂ€re. Die SteuerflĂ€chen, Wellenformen und Regler bleiben echter HTML-/Canvas-Code. Es werden keine CDNs, Bild-APIs oder Telemetriedienste aufgerufen. ## Technische Grenzen - HPSS trennt harmonische und perkussive Signalanteile, keine garantierten Einzelinstrumente. - Das kleine lokale KI-Modell erstellt begrenzte Instrumentenhypothesen auf Basis synthetischer Trainingsdaten. - Demucs kann nur mit lokal installierten kompatiblen Modellgewichten genutzt werden. - Der Störscan identifiziert Verdachtsstellen; vollautomatische, garantiert musikverlustfreie Rauschminderung existiert nicht. - FĂŒr Tempo- und unabhĂ€ngige Tonhöhenbearbeitung wird lokal FFmpeg mit Rubber-Band-Filter benötigt. - Projektjobs liegen im Speicher des lokalen Servers. Das System ist **kein abgesicherter öffentlicher Mehrbenutzerdienst**. ## Tests `python -m pytest -q` Mehr zur technischen Architektur und den Audio-Modulen steht im Ordner `docs/`. --- # Tune-Whisperer — v0.9 · Unified Studio Workspace **Ein Projekt. Eine eindeutig benannte Quelldatei. Alle echten Werkzeuge an einem Ort.** ## Neue BedienoberflĂ€che Die frĂŒhere Navigation mit separaten Seiten (Import, Arrangement, Bass, Noise, Stems, Forensik) wurde durch **ein einziges Studio** ersetzt: - **Links: Projektbibliothek.** Projekte anhand Namen oder Quelldatei suchen, wechseln, umbenennen und neue Projekte durch Dateiimport erzeugen. Beim Import wird keine Quelldatei in einem anderen Projekt ĂŒberschrieben. - **Oben: aktive Quelle.** Dateiname, Hash-Ausschnitt, Dauer, Abtastrate, Anzahl aktiver Stems und Original-Wiedergabe bleiben immer sichtbar. - **Mitte: Master-Übersicht und Stereo-Mixer.** Farbige Wellenformen fĂŒr die tatsĂ€chlichen Stems, Transport/Seek, Gain, Mute, Solo, Panorama, Effekt-Racks und Render-Vorschau. - **Rechts: kontextabhĂ€ngiger Inspector.** Workflow, KI-Trennplan, BASS-CORE, NOISE-CORE und Export/Diagnostik. Keine Funktions-Unterseiten. - **Unten: ein gemeinsamer Jobstatus.** Separations-, Bass-, Noise-, OMNISTEM- und Mix-Jobs melden Fortschritt im selben Studio. Die gesamte OberflĂ€che ist in `app/static/index.html`, `studio.css`, `studio.js` implementiert. Alte, nicht mehr verwendete JavaScript-/CSS-Frontends wurden entfernt. Kein CDN, keine Telemetrie und keine automatischen Cloud-Uploads. ## Schnellstart Python 3.11+ und unterstĂŒtzte System-Audio-Codecs bereitstellen: ```bash python -m venv .venv source .venv/bin/activate # Windows: .venv\\Scripts\\Activate.ps1 python -m pip install -e ".[dev]" python -m pytest -q python -m uvicorn app.server:app --host 127.0.0.1 --port 8000 ``` Alternativ `start_windows.bat` bzw. `bash start.sh`; Browser: **http://127.0.0.1:8000** 1. **Audio importieren**: Neues Projekt erzeugt; Quelle steht immer oben. 2. **Workflow**: Mini-KI-Vorinventur optional, Basis-Separation mit HPSS. Demucs nur bei vorhandenen vertrauenswĂŒrdigen lokalen Gewichten. 3. **KI-Plan**: Hypothesen umbenennen, prĂŒfen und technisch mögliche Proxy-Spuren ausfĂŒhren. Nicht unterstĂŒtzte Instrumente bleiben blockiert. 4. **Bass**: Kick/Bassline als additive Stems plus einstellbare Bassbearbeitung. Optionaler separater FFmpeg-Virtual-Bass-2.1-Export. 5. **Störung**: Scan ohne Änderungen; auffĂ€llige Klickstellen bewusst auswĂ€hlen und reparieren. Die Differenz wird als **NOISE**-Stem sichtbar und bleibt im neutralen Mix zunĂ€chst hörbar. 6. **Spur-Mixer**: Gain, Mute/Solo, Panorama, Filter, SĂ€ttigung, Breite, optional Tempo/Pitch (FFmpeg/Rubber Band), dann **Mix rendern**. 7. **Export**: Original, Stems-ZIP, Mix-WAV, Bass/Noise-Pakete im gleichen Inspector. Einstellungen wirken nur auf einen neu berechneten Mix. ### Datei- und Projektsicherheit Jedes Projekt besitzt derzeit **genau eine Quell-Audiodatei**. Die neue durchsuchbare lokale Bibliothek (`GET /api/v1/projects`) listet alle verfĂŒgbaren Projekte und zeigt die zugeordnete Datei. Projektumbenennung erfolgt ĂŒber `PATCH /api/v1/projects/{id}`. Die Quelldatei bleibt unverĂ€ndert. Projekt- und Jobverwaltung sind lokal und nicht als öffentlicher Mehrbenutzerdienst abgesichert. Vor öffentlichem Deployment sind Authentifizierung, Autorisierung und Upload-/SpeicherhĂ€rtung erforderlich. ### Wahrheits- und Klangschutz - HPSS liefert spektrale Harmonic/Percussive/Residual-Anteile, **keine** garantiert instrumentreinen Stems. - OMEGA-TAG Mini ist auf synthetischen Signalen feinjustiert; Empfehlungen sind **unsichere Vorinventur**, keine verlĂ€ssliche Instrumentenerkennung. - BASS-CORE und OMNISTEM-DSP-Proxies sind NĂ€herungen. - NOISE-CORE repariert nur freigegebene Kandidaten. Keine automatische Breitband-Entrauschung und keine Behauptung absoluter Verlustfreiheit. - Der neutrale additive Stem-Graph rekonstruiert die Quelle innerhalb dokumentierter numerischer Toleranz; das beweist **nicht** Quellenreinheit. - Alle Audioeffekte werden erst beim expliziten Render verarbeitet. Nach Reglereingriffen wird ein alter Mix als veraltet markiert. ### Technische PrĂŒfungen Tests: `python -m pytest -q` (API, DSP/Audio, Projektbibliothek, Mix, Bass, Noise, OMNISTEM, OberflĂ€che/Static-Verteilung). Syntax: `node --check app/static/studio.js`. Browsersimulation: isolierte UI-PrĂŒfung mit echten Demo-Stem-Waveforms und kontrollierten API-Antworten. Der Testbrowser konnte nicht direkt zu localhost navigieren; ein vollstĂ€ndiger produktionsnaher Browser-End-to-End-Test ist damit **nicht** abgedeckt. --- # Tune-Whisperer — v0.8 · OMNISTEM Plan Runner ## Neu in v0.8 **Planen → FĂ€higkeitsprĂŒfung → AusfĂŒhren → echte Audiospuren.** Im Ω STUDIO Mini-KI-Analyse durchfĂŒhren, gewĂŒnschte Ziele markieren und **Plan prĂŒfen** drĂŒcken. Die Anzeige unterscheidet: - **AUDIO VORHANDEN:** Bereits separiertes, echtes Audiosignal (z. B. Demucs-Vocals). - **DSP-PROXY:** ZusĂ€tzliche spektrale Mitten-/Höhenimpuls-SchĂ€tzung aus `percussive` oder `drums`; keine validierte Snare- oder Hi-Hat-Isolation. - **NICHT VERFÜGBAR:** Ohne passendes lokales Modell kein Instrumenten-Stem und keine vorgetĂ€uschte „KI-Trennung“. Klicke **Plan ausfĂŒhren**, um die ausgewĂ€hlten, unterstĂŒtzten Mikrospuren zu erzeugen. DafĂŒr mĂŒssen zunĂ€chst **HPSS** (lokal verfĂŒgbar) oder **Demucs** (optionale lokale Gewichte) Basisstems erzeugt worden sein. Der Mini-KI-Checkpoint wird weiterhin lokal mitgeliefert und ist ausschließlich auf **synthetische** Mischungen feinjustiert. Er benennt unsichere Hypothesen und ersetzt keine professionelle Instrumentenerkennung. Die percussive/drums Elternspur wird um jede neu gebildete Proxy-Spur vermindert. Ohne Gain/FX im Mixer ist die ursprĂŒngliche Quellensumme deshalb erhalten; ein Streaming-Rekonstruktionstest prĂŒft das. Unterschiedliche PlanlĂ€ufe nutzen jeweils den vor-OMNISTEM-Graphen und verdoppeln alte Proxies nicht. **Klangschutz:** Kein automatisches Noise-Gating, keine unerlaubten Reparaturen, keine heimliche Normalisierung. NOISE bleibt eine nur manuell freigegebene Differenzspur. ### Bedienung 1. Lokales Studio starten und Audio importieren. 2. „Mini-KI analysieren“ und Trennziele prĂŒfen; ohne VorschlĂ€ge manuell ergĂ€nzen, jedoch sind nur unterstĂŒtzte IDs ausfĂŒhrbar. 3. „Separation starten“ mit HPSS oder lokal installiertem Demucs. 4. „Plan prĂŒfen“ lesen; blockierte Ziele bleiben sichtbar. 5. „Plan ausfĂŒhren“ → echte neue Stems erscheinen als farbige Tracks. 6. Gain, Mute, Solo, Panorama, Effekte, Mix und Stem-Export wie bisher verwenden. Weitere Modelle fĂŒr tatsĂ€chliche per-Instrument-Separation, textkonditionierte Quellenselektion, verifizierte neural Denoising-Funktionen und echte LFE-Integration in Stereo-Mixing bleiben ausdrĂŒcklich **nicht implementiert**. ## Technische API - `GET /api/v1/projects/{id}/omnistem/plan` – kompiliert den gespeicherten Plan gegen tatsĂ€chlich vorhandene Audioquellen, ohne Audiodateien zu verĂ€ndern. - `POST /api/v1/projects/{id}/omnistem/run` – asynchroner Plan-Runner. - `GET /api/v1/projects/{id}/omnistem/report` – ausgefĂŒhrter Stand und Grenzen. - `GET /api/v1/projects/{id}/stems` – aktuelle additive echte Stems. - `POST /api/v1/jobs/mix` – gemischtes WAV ohne pauschales Mastering. **Start:** `bash start.sh` oder unter Windows `start_windows.bat`; Browser `http://127.0.0.1:8000`. Tests `python -m pytest -q`. Kein öffentlicher Mehrbenutzerbetrieb, keine automatische Modell-Downloads, keine Telemetrie. AbhĂ€ngig vom lokalen System sind Codec-Bibliotheken und FFmpeg/Rubber Band fĂŒr optionale FunktionalitĂ€t erforderlich. --- # Tune-Whisperer — v0.7 · Unified Multitrack Studio · BASS/NOISE Lanes **Lokales Fullstack-Audiostudio.** EnthĂ€lt alle Funktionen aus v0.4 (BASS-CORE, NOISE-CORE, Virtual Bass, HPSS, optional Demucs) und zusĂ€tzlich ein farbiges Mehrspur-Arrangement. ## Schnellstart 1. ZIP entpacken. **Python 3.11+** muss installiert sein. 2. Windows: `start_windows.bat` ausfĂŒhren. macOS/Linux: `bash start.sh`. 3. Browser: **http://127.0.0.1:8000**. 4. Im **Ω STUDIO** oben **Datei importieren** oder **Demo laden**. 5. Optional **Mini-KI analysieren** → Hypothesen prĂŒfen und **Plan speichern**. 6. **Separation starten** (HPSS ist immer verfĂŒgbar; Demucs benötigt lokale Modellgewichte). 7. In der **Element-Kontrolle** auf **Kick & Bassline als Spuren** klicken. 8. **Störungen scannen**, verdĂ€chtige Stellen manuell auswĂ€hlen und **Auswahl reparieren**. Nur nach einer solchen Freigabe entsteht eine echte, separate **STÖRSPUR**. 9. Bestehende Stems werden dabei rechnerisch kompensiert. Alle Spuren zusammen ergeben beim neutralen Mix wieder das Original, soweit der Ausgangsseparator numerisch konsistent ist. **Die Störspur bleibt zunĂ€chst hörbar**. 10. FĂŒr die gezielte Entfernung bestĂ€tigter Klickanteile die Störspur mit **M** stummschalten. 11. FĂŒr jede Spur Gain, Mute, Solo, Stereo-Fader und Effekte einstellen → **Mix berechnen**, anhören und WAV/ZIP exportieren. **Beispiel direkt starten, ohne Startskript:** ```bash python -m venv .venv # Linux/macOS: source .venv/bin/activate # Windows PowerShell: .venv\Scripts\Activate.ps1 python -m pip install -e ".[dev]" python -m pytest -q python -m uvicorn app.server:app --host 127.0.0.1 --port 8000 ``` ## v0.7 — Debugging: BASS-CORE + NOISE-CORE sind echte zusĂ€tzliche Arrangement-Lanes - **KICK** (`kick_core`): tiefes, transient-orientiertes Bassband; keine sichere Kick-Isolation. - **BASSLINE** (`bassline_core`): tiefes, tonales Bassband; keine sichere Instrument-Isolation. - **STÖRSPUR** (`noise_difference`): genau die **explizit freigegebenen** Reparaturdifferenzen (`Original − repariert`). Ohne freigegebene Klickreparatur gibt es diese Spur nicht. - **Kompensierte Basisstems**: das System zieht die drei zusĂ€tzlichen Signalanteile von den tatsĂ€chlichen Basisstems ab. Die Zusatz-Lanes **verdoppeln niemals** die Bassenergie. - Bei HPSS werden Bassline und Kick aus `harmonic` bzw. `percussive` kompensiert, die Stördifferenz aus `residual`. Mit Demucs werden `bass`, `drums` und `residual` verwendet. Ohne Grundseparation wird der Originalmix als `source_body` herangezogen. - Eine neutrale Summe aller Lanes bleibt die Originalmischung. Nichtdestuktive Bearbeitung; ein neuer Stereo-Mix wird nur auf ausdrĂŒcklichen Wunsch gerendert. - **Klangschutz:** Noise-Lane ist nicht stumm. `M` auf NOISE bewirkt erst nach manueller Freigabe die tatsĂ€chliche Korrektur. `S` ermöglicht differenzbasiertes Abhören. - Die bestehenden Bass-Optimierungs-Ausgaben (mit optional synthetischen Obertönen) bleiben separate Audition/Exports und werden **nicht** automatisch in den neutralen Gesamtmix addiert. - **Kdenlive/FFmpeg Virtual Bass** bleibt separater 2.1-LFE-Export. Kein Import in den Stereo-Mixer, weil dieser eine andere Kanalbelegung hat. ### Technische Grenzen - Kein Stems-„Magie“: HPSS ist eine spektrale AbschĂ€tzung; Demucs braucht geprĂŒfte, lokal bereitgestellte Gewichte. Mini-TAG benennt nur Hypothesen. - NOISE-CORE extrahiert bisher nur manuell akzeptierte Reparaturdifferenzen, nicht zuverlĂ€ssig jede Art von Umgebungsrauschen. - Der Mixer rechnet mit WAV Float32, kann bei starken Gain-/FX-Änderungen >0 dBFS ausgeben und meldet das ausdrĂŒcklich. - Das Bauen zusĂ€tzlicher Spuren legt WAV-Dateien im `omega_data`-Ordner ab. Alte Graphgenerationen werden fĂŒr laufende Projekte nicht automatisch gelöscht. - Das lokale Backend hat weder Mehrnutzer-Authentifizierung noch dauerhafte Jobs. Nicht ungeschĂŒtzt ins öffentliche Internet stellen. ### Funktionen und Komponenten - Mehrspur-Arrangement mit einzelnen Instrumenten-/Signalstems je nach verfĂŒgbarem Modell. - Jedes *tatsĂ€chlich* verfĂŒgbare Audio-Stem erhĂ€lt eigene Farbe und samplebasierte Waveform-Visualisierung, links LautstĂ€rke/Mute/Solo, mittig L/C/R-Pan, rechts ausklappbare Effekte (Low-Cut, High-Cut, SĂ€ttigung, Stereobreite). - Farbig ĂŒberlagerte GesamtĂŒbersicht, klickbare Zeitleiste und Scroll/Zoom. - **OMEGA-TAG Mini**: Offline-MLP (35 Features → 32 tanh Neuronen → 6 Sigmoid-Ausgaben). Mitgeliefertes `.npz`-Checkpoint wurde zweistufig auf **synthetischen Signalen** trainiert und anschließend auf **synthetischen Mischungen feinjustiert**. Es erkennt *nur* Klangtexturen: Bass-Ă€hnlich, Kick-Ă€hnlich, Snare-Ă€hnlich, Hi-Hat-Ă€hnlich, harmonische Mitten und rauschĂ€hnliche Anteile. **Keine trainierte oder validierte Instrumentenerkennung auf echter Musik.** - Editable Trennziele (bis 128 aus Ressourcen-/SicherheitsgrĂŒnden). Das Speichern eines Ziels separiert **keine** zusĂ€tzliche Audiospur. - Nichtdestruktiver, chunkweiser Stereo-Float32-Mix mit Gain, Mute, Solo, Panorama, Hoch-/Tiefpass, Stereo Width und harmonischer SĂ€ttigung. - Optional von 50–200 % unabhĂ€ngiges Tempo und ±12 Halbtöne transponieren mittels **FFmpeg mit Rubber Band Filter**. Der Button wird ohne Rubber Band deaktiviert, nicht simuliert. - WAV-Float32-Export und messbarer Pegelbericht einschließlich möglicher Überschreitung von 0 dBFS. ### IntegritĂ€tsregeln - Original wird niemals in-place ĂŒberschrieben. Quellen und Export werden in getrennten Projektordnern gespeichert. - Kein Eingriff und kein Sound Processing ohne explizites **Mix berechnen**. - Gespeicherte KI-Trennplan-Hypothesen sind ausdrĂŒcklich nicht als isolierte Instrumentenspuren bezeichnet. - HPSS ist **kein Instrumentenerkennungsmodell**, sondern strukturelle Trennung. Demucs v4 ist optional und bietet vier Grobkategorien; es zerlegt nicht beliebig viele benannte Instrumente. - Waveforms werden fĂŒr rasche Anzeige sparsam gesampelt; sie sind **keine** vollstĂ€ndige Peak- oder Forensikmessung. - Synthetisch generierte Oberwellen, Tontranspositionen und FX sind KlangĂ€nderungen, **keine** Rekonstruktion physisch nachweisbarer fehlender Daten. - Kein automatisches Mastering, kein pauschales Denoising oder 0-dB-Normalisieren. ### Tooling und Deployment - Python / FastAPI / NumPy / SciPy / SoundFile. - Frontend: eigenstĂ€ndiges HTML/CSS/JavaScript, kein CDN, keine fremde Cloud. - Startet als lokaler Browser-Webserver; optional Docker Compose (nicht als produktionsbereite Public-Cloud-Anwendung absichern). - FFmpeg ist fĂŒr Grundfunktionen nicht erforderlich, fĂŒr spezielle Dateiformate, Virtual Bass und unabhĂ€ngige Pitch/Tempo-Transformation hingegen erforderlich. - `start.sh`/`.bat` installieren Python-AbhĂ€ngigkeiten ĂŒber pip und benötigen bei Erstinstallation Netzwerkzugang; die Anwendung selbst ruft danach keine externen Server auf. - Keine Benutzeranmeldung, keine öffentliche Mehrnutzer-Bereitstellung. - Datenspeicherung in `omega_data/`, falls nicht ĂŒber `ABSOLUTION_DATA_DIR` geĂ€ndert. ### Tests ```bash python -m pip install -e ".[dev]" python -m pytest -q node --check app/static/app.js node --check app/static/arrangement.js ``` Neue Tests: neutrale Summierung, Solo/Mute, Panorama, FX, Wellenform-API, synthetisches Mini-Modell, Plan-Persistenz, tatsĂ€chliche Mix-Jobs und WAV-Export. ### Neue API ``` POST /api/v1/projects/{id}/inventory Mini-Tagging, synchron (lokal) PUT /api/v1/projects/{id}/plan editierbare Zielhypothesen GET /api/v1/projects/{id}/wave/{stem} sparsames Wellenform-Sampling POST /api/v1/jobs/mix Offline-Mix-Job GET /api/v1/jobs/{job_id} Fortschritt GET /api/v1/projects/{id}/mixer Mix-Report und gespeicherte Parameter GET /api/v1/projects/{id}/mixer/audio WAV-Export ``` Request-Body fĂŒr Mix-Jobs: ```json { "project_id": "", "tracks": { "harmonic": {"gain_db": -2.0, "pan": -0.2, "mute": false, "solo": false, "highpass_hz": 25, "lowpass_hz": 0, "drive": 0.1, "width": 1.0} }, "tempo": 1.0, "pitch_semitones": 0 } ``` Nicht spezifizierte Stems sind ohne Effekte und bei 0 dB enthalten. Solo-Modus spielt ausschließlich Solo-markierte, nicht stumm geschaltete Stems. ### Forschungsstatus Weitere getrennte Instrumente benötigen leistungsfĂ€hige bedingte oder hierarchische KI-Separatoren plus realistisch evaluiertes Modellrouting. Das integrierte Mini-Modell ist hierfĂŒr nur eine Vorinventur, kein universelles Separationsmodell. Das Projekt bleibt eine lokale Forschungs-/Prototyp-Version. Weitere Details: `docs/ARRANGEMENT_STUDIO.md` sowie das historische NOISE-/BASS-CORE-Material unten. --- # Tune-Whisperer — v0.4.0 · NOISE-CORE + BASS-CORE > Local-first audio-forensics workbench with BASS-CORE (experimental DSP-derived kick/bassline > estimates, non-destructive bass processing and optional use of pre-separated HPSS/Demucs stems). ## Starten 1. Das ZIP entpacken. 2. `start_windows.bat` (Windows) oder `bash start.sh` (macOS/Linux) im Projektordner starten. 3. `http://127.0.0.1:8000` im Browser öffnen. 4. Unter **Studio** WAV/FLAC/AIFF/OGG/unterstĂŒtztes MP3 importieren oder Demo laden. 5. Den Bereich **BASS-CORE** öffnen, Preset/Regler wĂ€hlen und **Bass analysieren & optimieren** drĂŒcken. 6. **Bassband vorher/nachher**, Kick-/Bassline-SchĂ€tzung, erzeugte Obertöne und Vollmix anhören. 7. Einzel-WAVs oder **Alle Bass-Tracks herunterladen** (ZIP) exportieren. Mit vorhandenem HPSS-Ergebnis kann BASS-CORE die harmonischen/perkussiven Stems als Quellenhypothese verwenden. Bei korrekt konfiguriertem Demucs und vorab generierten `bass`/`drums`-Stems nutzt die Engine diese als Ausgangspunkt. Ein manueller Modus erzwingt entsprechende Quellen und wird mit HTTP 409 abgelehnt, falls sie fehlen. ## Neu: NOISE-CORE Ω — PRESERVE FIRST (v0.4) **Hauptregel:** Erhaltung von Musik, Luft, Hall, feinen Transienten und dem Original hat Vorrang vor der Störminderung. Es gibt **keine Garantie**, dass eine Reparatur bei Überlagerungen ausschließlich StörgerĂ€usche Ă€ndert. Daher setzt diese Version die Reparatur nicht automatisch ein. **Bedienung** 1. Importiere eine Audiodatei im Studio. 2. Öffne **NOISE-CORE** und wĂ€hle **Störspur analysieren**. 3. ÜberprĂŒfe einzelne Klick-VerdachtsfĂ€lle durch Anhören des Originals. Kein Ereignis ist vorab ausgewĂ€hlt; die Klick-Erkennung ist nur eine Heuristik, **kein KI-Detektor** und kein Beweis fĂŒr eine Störung. 4. WĂ€hle einzelne geprĂŒfte Ereignisse und die ReparaturstĂ€rke aus. 5. BestĂ€tige die Reparatur. Es werden **nur die ausgewĂ€hlten einzelnen Samples** interpoliert; keine sonstigen Samples gezielt verĂ€ndert. 6. Höre **Clean** und insbesondere **Differenzspur** an und exportiere beide als WAV 32-bit Float plus JSON-Bericht. Die Differenzspur ist exakt als `Original - Clean` berechnet (vor Float32-Dateiquantisierung). Sie kann echte musikalische Inhalte enthalten. Ein kleiner numerischer Rekonstruktionsfehler beweist **nicht**, dass die VerĂ€nderung hörpsychologisch unbedenklich ist. **Was absichtlich NICHT automatisiert ist** - Keine pauschale Broadband-Noise-Reduction und kein Spectral-Gate. - Keine 50/60-Hz-Notches ohne PrĂŒfung, da Bassnoten oder Obertöne betroffen sein können. - Keine generative Resynthese verlorener Musik. - Keine selbstĂ€ndige Klassifikation als „sicheres StörgerĂ€usch“. - Keine angebliche KI-QualitĂ€t, wo nur Heuristiken vorliegen. Tonal-Indikatoren bei 50/60/100/120 Hz sind ausschließlich **mehrdeutige Spektralspitzen**, die ohne automatischen Eingriff angezeigt werden. Ein Scan unterstĂŒtzt auch Audiodateien von mehr als 180 Sekunden; RAM bleibt durch blockweise Verarbeitung begrenzt. Die DateigrĂ¶ĂŸen- und Speicherplatzgrenzen bleiben bestehen. **API:** - `POST /api/v1/jobs/noise/scan` mit `{"project_id": "[UUID]"}`; - `POST /api/v1/jobs/noise/repair` mit `{"project_id":"[UUID]", "approved_samples":[4321], "strength":0.8}`; - `GET /api/v1/projects/{id}/noise` fĂŒr Scan/Repair-Bericht; - `GET /api/v1/projects/{id}/noise/audio/{clean|difference}`; - `GET /api/v1/projects/{id}/noise/export`. ## Neu: Kdenlive-kompatibler Virtual-Bass-Export (optional) BASS-CORE bietet einen **separaten FFmpeg-Virtualbass-Adapter** (nur falls `ffmpeg` mit Filter `virtualbass` lokal verfĂŒgbar ist). Dieser Filter konvertiert **2-Kanal-Stereo → 2.1**. Die ursprĂŒnglichen Stereo-KanĂ€le werden vom Filter unverĂ€ndert weitergegeben; der dritte Kanal ist ein kĂŒnstlich generierter LFE-Kanal. Ein neuer Bass-Ton wird **nicht zurĂŒckgewonnen**. WĂ€hle in BASS-CORE `Cutoff` 100–500 Hz, `Strength` 0.5–3, starte den Export und lade `ABSOLUTION_VIRTUAL_BASS_2_1.wav` herunter (WAV Float32). Nur fĂŒr echte Stereoquellen. Eine echte 2.1-Wiedergabekette wird empfohlen; Browser-Audio unterstĂŒtzt dreikanalige WAV-Dateien nicht zuverlĂ€ssig. Die LFE-Amplitude kann 0 dBFS ĂŒberschreiten und muss im Zielsystem geprĂŒft werden. Offizielle Filterbeschreibung: https://ffmpeg.org/ffmpeg-filters.html#virtualbass **API:** - `POST /api/v1/jobs/bass/virtual` (`project_id`, `cutoff_hz`, `strength`); - `GET /api/v1/projects/{id}/virtualbass`; - `GET /api/v1/projects/{id}/virtualbass/audio` (2.1-WAV). ### Warum keine Normalisierung auf −0,01 dB vor Analyse/Trennung? Weil VerstĂ€rkung keine fehlende Information wiederherstellt und spĂ€tere Bearbeitung bei nahezu Vollaussteuerung leichter ĂŒbersteuert. Originalpegel unverĂ€ndert halten; falls ein Modell Normalisierung braucht, nur reversible temporĂ€re Kopien mit dokumentiertem VerstĂ€rkungsfaktor verwenden. Output-True-Peak-Messung nach der Bearbeitung, nicht aggressives Pre-Normalizing. **−0,01 dBFS Sample-Peak ist keine Garantie fĂŒr −0,01 dBTP (True Peak).** ## Verarbeitung: BASS-CORE v0.3 - **DSP-Modus:** 45–350-Hz Tiefband mittels Zero-Phase-Crossover. Ein transientenbasierter Maskierungsansatz schĂ€tzt Kick vs. Bassline. Dies ist **keine** unabhĂ€ngige Instrumentenquellentrennung. - **HPSS-Modus:** Tiefband der vorab separierten `percussive`- und `harmonic`-Spuren. Harmonische Instrumente außer Bass und tiefe Schlagzeuganteile können ĂŒberlappen. - **Demucs-Modus:** Tiefband der vorab geschĂ€tzten `drums`- und `bass`-Spuren. Erfordert lokale Demucs-Gewichte und erfolgreiche Separation; automatische Downloads AUS. - **Processing:** Pegelregler fĂŒr Kick/Bassline, Bass-Subgain, Rumpelfilter, symmetrische nichtlineare Obertongenerierung, Stereo-zu-Mono unter Grenzfrequenz, Dry/Wet-Mischung. - **Output-Ceiling:** nach dem Rendern wird *der optimierte Mix* bei Bedarf global abgesenkt. Das ist **kein True-Peak-Limiter**. Einzelstems bleiben unverĂ€ndert und dĂŒrfen Peaks > 0 dBFS enthalten (WAV 32-bit Float). - **Export:** `bass_band`, `kick_estimate`, `bassline_estimate`, `other_unprocessed`, `harmonics_added`, `bass_optimized`, `mix_optimized`, jeweils WAV Float32 plus separate PCM16-Hörvorschauen. ZIP enthĂ€lt `bass_report.json`. - **Consistency:** Die Zerlegung `kick_estimate + bassline_estimate + other_unprocessed` entspricht dem eingelesenen Mix innerhalb einer numerischen Toleranz. Das beweist nicht die semantische Reinheit. Der Inspector zeigt Energien fĂŒr FrequenzbĂ€nder von 20–1280 Hz aus dem ersten Audio-Chunk. Er stellt keine Tonhöhen oder einzelnen Instrumente fest. ## Grenzen und Sicherheit - Originaldateien bleiben unverĂ€ndert gespeichert, inklusive SHA-256. - Keine feste 180-Sekunden-Grenze. MaximalgrĂ¶ĂŸe standardmĂ€ĂŸig 1024 MiB (konfigurierbar ĂŒber `ABSOLUTION_MAX_UPLOAD_MIB` bis 4096). - Chunkweise/offline Verarbeitung vermindert, **eliminiert aber nicht** mögliche Artefakte an Blockgrenzen. Sie kann erhebliche DiskkapazitĂ€t erfordern (sieben Float32-WAVs plus Vorschauen). - Kein echtes Deep-Learning fĂŒr die DSP-SchĂ€tzung. Keine Noten-/F0-Reparatur, keine intelligenten Sub-Oszillatoren, kein echtes De-Clip, kein vollautomatisches KI-De-Noise, kein Echtzeit-Audio, kein VST3-/AU-Hosting in v0.3. Diese Funktionen sind auf der Roadmap. - Nicht fĂŒr öffentliche Mehrbenutzer-Deployments geeignet: Benutzeranmeldung, Job-Persistenz, Rate Limiting und Plugin-Sandbox fehlen. - Keine Telemetrie und keine externen Modell-Downloads durch diese Anwendung. - FĂŒr optionale Bibliotheken wie Demucs, Pedalboard/Surge XT und kommerzielle VST-Plugins gelten jeweils eigene Lizenz-/Checkpoints-/Nutzungsbedingungen. ## Entwickler: API und Tests ```bash python -m venv .venv # Linux/macOS: source .venv/bin/activate # Windows PowerShell: # .venv\\Scripts\\Activate.ps1 pip install -e ".[dev]" python -m pytest -q python -m uvicorn app.server:app --host 127.0.0.1 --port 8000 ``` ### Wichtige API-Pfade | HTTP | Pfad | Beschreibung | |---|---|---| | POST | `/api/v1/projects` | Projekt anlegen | | POST | `/api/v1/assets` | WAV/FLAC/etc. importieren | | POST | `/api/v1/jobs/separate` | HPSS oder optional Demucs | | POST | `/api/v1/jobs/bass` | Neuer BASS-CORE-Job | | GET | `/api/v1/jobs/{job_id}` | Status/Fortschritt | | GET | `/api/v1/projects/{id}/bass` | Quelle, Report, Outputs | | GET | `/api/v1/projects/{id}/bass/audio/{track}` | Master; `?preview=true` fĂŒr Player | | GET | `/api/v1/projects/{id}/bass/export` | ZIP aller Bass-Stems | | GET | `/docs` | Interaktive OpenAPI-Dokumentation | Beispiel-JSON fĂŒr `/api/v1/jobs/bass`: ```json { "project_id": "[UUID-AUS-DER-PROJEKT-ANLAGE]", "source_mode": "auto", "crossover_hz": 220, "kick_focus": 0.75, "kick_gain_db": 2.0, "bass_gain_db": 1.0, "sub_gain_db": 1.5, "harmonics": 0.35, "lowcut_hz": 22, "mono_below_hz": 100, "wet": 1.0, "ceiling_dbfs": -1.0 } ``` ## KI-Roadmap nach Erhaltungs-PrioritĂ€t 1. **AI Noise Event Triage:** Click-vs-Instrumenten-Transient-Klassifikator auf echten musikalischen Negativbeispielen, mit Unsicherheits-Gating/ Abstention; keine automatische Massenreparatur. 2. **Source-aware Noise:** Zwischen Bass, Schlagzeug, Stimmen und Rest separieren; Störhypothese gezielt im betreffenden Stem prĂŒfen. 3. **Harmonic Preservation:** Zeit-Frequenz-Masken mit Erhaltung von Noten, Harmonischen, AtemgerĂ€uschen, Hallfahnen und Transienten. Nicht sicher unterscheidbare Energie bleibt im Original. 4. **Independent Repair Judge:** Automatische Vorher-/Nachher-PrĂŒfung, Difference-Stem, Nulltests, Blindhörtest und Leckage-/Transientmetriken. 5. Echte Bass-/Drum-Separation durch modellbasierte Quellenzerlegung und mehrstufige Kick-/Bassline-/808-Klassifikation. 6. Semantischer Low-End-Eventgraph mit validiertem F0- und Transienten-Tracking. 7. Optionaler phase-/pitch-locked Sub-Synthesizer unter Unsicherheits-Gating. 8. Selektive Event-Reparatur (z. B. Clicks und Dropouts) mit Provenance. 9. GeschĂŒtzter, separat betriebener VST3-/AU-Host und kommerzielle LizenzprĂŒfung; externe Plugins dĂŒrfen niemals ungeprĂŒft im API-Prozess laufen. 10. True-Peak-Meter/Limiter, Oversampling, A/B-Loudness-Matching, Listening Benchmarks und getrennte quantitative Benchmarks mit Ground Truth. Alle Forschungsstufen sind noch nicht implementiert. Eine mathematisch saubere Restmischung ist nicht gleichbedeutend mit perfekten Original-Stems. ## Weitere Dokumentation Siehe `docs/ARCHITECTURE.md`, `docs/LICENSE_AND_SECURITY.md`, `docs/WEBSITE.md`. ## Dokumentation NOISE-CORE Siehe `docs/NOISE_CORE_DESIGN.md` fĂŒr Schutzprinzipien, Grenzen und Teststrategie.