Upload 6 files

.gitignore

@@ -0,0 +1,6 @@
+*
+!.gitignore
+!REAMDE.md
+!requirements.txt
+!.gitattributes
+!*.py

README.md

@@ -1,13 +1,104 @@
 ---
-title: IPhoneBlindSourceSeparation
-emoji: 🌍
-colorFrom: blue
-colorTo: blue
+title: iPhoneBlindSourceSeparation
+emoji: 🏢
+colorFrom: pink
+colorTo: yellow
 sdk: gradio
-sdk_version: 6.1.0
+sdk_version: 6.0.1
 app_file: app.py
 pinned: false
 license: mit
 ---
+# iPhoneBlindSourceSeparation
+このデモでは、iPhoneで撮影したステレオ録音付きの録画から**Independent Vector Analysis (IVA)**によるブラインド音源分離を体験できます。  
+
+## ⚠️ 注意
+ - 動画アップロードによって生じるトラブルは責任を負いかねます 
+
+## 📱 対応機種 (要件)
+
+ステレオ録音機能に対応しているiOSデバイス：
+- **iPhone**: XS / XR / SE (第2世代 以降) / 11 以降
+- iOS 16以降
+
+> ⚠️ **注記**: 対応機種一覧は参考情報です。  
+> 対応機種以外でも，サンプル音声を用いてブラインド音源分離を体験できます.
+
+## 🎥 ステレオ録音の設定方法 (事前準備)
+
+本デモでは標準カメラアプリで録画すると，ステレオ録音が行えることを利用します．
+iPhoneでステレオ音源付きで録画する場合、以下の手順で設定を確認してください：
+
+1. **設定** → **カメラ** を開く
+2. **ビデオ録画** セクションで **ステレオ** を有効にする
+
+詳細は [Apple公式ガイド](https://support.apple.com/ja-jp/guide/iphone/iph31c1ca6c7/ios#:~:text=%E6%B3%A8%E8%A8%98:%20iPhone%2016%E4%BB%A5%E9%99%8D%E3%81%A7%E3%81%AF,%E3%82%92%E5%8F%82%E7%85%A7%E3%81%97%E3%81%A6%E3%81%8F%E3%81%A0%E3%81%95%E3%81%84%E3%80%82) をご参照ください。
+
+## 🎬 録画時の配置と条件
+
+このアプリケーションで高精度に音源分離するため、以下の条件で録画することをお勧めします：
+
+### 推奨される配置
+```
+   話者B(カメラ側)                              話者A(撮影者側)
+         △ ---- [iPhone (話者Aが持つ)] ---- △
+```
+- 各話者の中心にiPhoneがあることが重要です.
+- ステレオ録音で録画する際, {前面上部のマイク, 背面カメラ付近のマイク}の2つが使われてる可能性が高いです (経験則). なので, 上の図を描き変えるとこのようなセットアップになります.
+```
+   話者B(カメラ側)                                           話者A(撮影者側)
+         △ ---- [前面上部のマイク] -- [背面カメラ付近のマイク] ---- △
+```
+- 録画ボタンを押して自由に発話してください. お互いが別々のことを話してる形式でも，対話形式でも構いません.
+
+### 音源分離の成功条件
+- ✅ 2つの音源(話者の発話)がステレオの左右チャンネルに比較的均等に分布している. 
+- ✅ 話者やiPhone(マイク)の位置がほぼ固定で、大きな動きがない
+- ✅ 背景雑音が少ない環境である（背景雑音があっても音声分離自体は可能ですが，背景雑音自体の抑圧はできてません. マイク数を多くすると雑音抑圧も可能になりますが，デモでは2マイクの場合のみ想定しています）
+
+### 分離が上手くいかない場合
+
+1. **STFT窓長を変える**
+   - 特に，残響時間が長い場合は窓長を例えばサンプリング周波数の0.6倍にすると上手く分離できるかもしれません．ただし，窓長を過剰に長くしすぎると分離性能が劣化する可能性があります．
+
+1. **オンライン処理を使用する** 
+   - 処理モードを「オンライン (Online AuxIVA)」に切り替える
+   - これにより、特に話者やiPhoneに大きな動きがある場合を（ある程度）考慮できます.
+   - 逆に，時不変(=話者やマイクが動いてない)な状況を想定しているのにオンライン処理で上手く分離ができない場合は，まずオフライン処理で上手く分離できるか確かめると良いでしょう．
+   - 話者やマイクの動きが多い場合は忘却係数を調整してみてください. 値が低いほど過去の情報を忘却するようになります. 
+
+## 🚀 使い方
+
+### Webアプリケーション (Hugging Face)
+1. ページを開く
+2. **上段**: 動画ファイルをアップロード、または **サンプル混合音声を生成・再生** ボタンを押す
+3. **中央**: 処理パラメータを設定
+   - サンプリング周波数を計算してSTFT窓長を自動設定
+   - 処理モード（オフライン/オンライン）
+   - （オンライン処理時）忘却係数を調整
+4. **分離開始** ボタンを押す
+5. **結果**: 混合音声と分離音声の波形、抽出された音声ファイルが表示されます
+
+### ローカルモード (gradioがinstallされてない環境でも動作可)
+```bash
+python app.py
+```
+実行時に以下のパラメータを対話形式で入力します：
+- ビデオファイルパス（またはサンプル���成）
+- STFT窓長
+- 処理モード（オンライン/オフライン）
+- パラメータ（忘却係数）
+
+## License & Credits
+
+以下を使わせて頂きました:  
+ - pyroomacoustics (https://github.com/LCAV/pyroomacoustics)
+ - Pythonで学ぶ音源分離 (https://github.com/masahitotogami/python_source_separation)
+ - CMU ARCTIC Concatenated 15s (https://zenodo.org/records/3066489) 
+ - J. Kominek and A. W. Black, “CMU ARCTIC databases for speech synthesis,” CMU-LTI-03-177, 2003.
+
+デモに使用したIVA
+1. N. Ono, *Stable and fast update rules for independent vector analysis based on auxiliary function technique,* Proc. IEEE, WASPAA, pp. 189-192, Oct. 2011.
+1. T. Taniguchi, N. Ono, A. Kawamura, and S. Sagayama, *An auxiliary-function approach to online independent vector analysis for real-time blind source separation,* Proc. HSCMA, pp. 107-111, May. 2014.
 
 Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

app.py

@@ -0,0 +1,439 @@
+import os
+import subprocess
+import tempfile
+import sample_code_c5_2
+import numpy as np
+import soundfile as sf
+import pyroomacoustics as pra
+from auxiva_online import auxiva_online
+import matplotlib
+matplotlib.use('Agg')  # Hugging Face Spaces対応（ディスプレイなし環境）
+import matplotlib.pyplot as plt
+from pdb import set_trace as test
+from scipy import signal
+import uuid
+import shutil
+import atexit
+
+# ===== 実行環境判定: Hugging Face / Local =====
+try:
+    import gradio as gr
+    USE_GRADIO = True
+except ImportError:
+    USE_GRADIO = False
+
+# ===== デフォルト値（Hugging Faceもローカルも共通） =====
+DEFAULT_WIN_LEN = 1024
+DEFAULT_ALPHA = 0.9
+
+# ===== ffmpegで音声抽出（サンプリング周波数は指定しない） =====
+def extract_audio(input_video, output_audio):
+    cmd = ["ffmpeg", "-i", input_video, "-vn", output_audio]
+    subprocess.run(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True)
+
+# ===== サンプル混合データ作成 =====
+def create_sample_audio(audio_path):
+    sample_code_c5_2.main(audio_output=audio_path)
+
+# ===== オフライン IVA音源分離 =====
+def separate_sources(audio_path, win_len, alpha=0.95, use_online=False, session_dir=None):
+    x, sr = sf.read(audio_path)
+    hop = win_len // 2
+
+    _, _, X = signal.stft(x.T, sr, nperseg=win_len, noverlap=hop)
+    if use_online:
+        Y = auxiva_online(X.transpose((2,1,0)), alpha=alpha)
+    else:
+        Y = pra.bss.auxiva(X.transpose((2,1,0)), n_iter=50)
+    _, y = signal.istft(Y.transpose((2,1,0)), sr, nperseg=win_len, noverlap=hop)
+
+    # セッションディレクトリにファイルを保存
+    if session_dir is None:
+        session_dir = "."
+    
+    out1 = os.path.join(session_dir, "separated_1.wav")
+    out2 = os.path.join(session_dir, "separated_2.wav")
+    sf.write(out1, y[0], sr)
+    sf.write(out2, y[1], sr)
+
+    return (out1, out2), y, sr
+
+# ===== 波形プロット（混合音声と分離音声を一緒に表示） =====
+def plot_waveform(mixed_data, separated_data):
+    fig, ax = plt.subplots(2, 2, figsize=(12, 6))
+    
+    # 混合音声
+    for i in range(2):
+        ax[0, i].plot(mixed_data[:, i], alpha=0.7, label=f"Mixed Channel {i+1}")
+        ax[0, i].set_title(f"Mixed Audio - Channel {i+1}")
+        ax[0, i].set_ylabel("Amplitude")
+        ax[0, i].legend()
+    
+    # 分離音声
+    for i in range(2):
+        ax[1, i].plot(separated_data[i], alpha=0.7, label=f"Separated {i+1}", color="orange")
+        ax[1, i].set_title(f"Separated Audio {i+1}")
+        ax[1, i].set_ylabel("Amplitude")
+        ax[1, i].set_xlabel("Time")
+        ax[1, i].legend()
+    
+    plt.tight_layout()
+    return fig
+
+# ===== サンプリング周波数を計算（動画優先、サンプルからフォールバック） =====
+def get_sampling_rate(video_file, sample_file):
+    """動画ファイルまたはサンプル音声からサンプリング周波数を取得（優先度: video > sample）"""
+    # 優先順位: video_file > sample_file
+    target = video_file or sample_file
+    if not target:
+        return "**サンプリング周波数**: 動画またはサンプルが必要です", DEFAULT_WIN_LEN
+
+    try:
+        # Gradio Audio/Video コンポーネントの形式を処理
+        target_path = None
+        
+        # Audio コンポーネントの場合、タプル (sample_rate, audio_data) を返すことがある
+        if isinstance(target, tuple) and len(target) == 2:
+            # (sample_rate, audio_data) の形式
+            sr = target[0]
+            target_path = None  # パスは不要、既にサンプリング周波数がある
+        elif isinstance(target, dict):
+            # Video/Audio コンポーネントの辞書形式
+            target_path = target.get("name") or target.get("path")
+        else:
+            # ファイルパス文字列
+            target_path = target
+        
+        # パスから読み込む場合
+        if target_path is not None:
+            if not os.path.exists(target_path):
+                return "**サンプリング周波数**: ファイルが見つかりません", DEFAULT_WIN_LEN
+            
+            # まず soundfile で読み込みを試みる
+            try:
+                data, sr = sf.read(target_path)
+            except Exception:
+                # ffmpegで音声抽出して読み直す
+                tmp = "__tmp_extracted_audio.wav"
+                try:
+                    subprocess.run(["ffmpeg", "-y", "-i", target_path, "-vn", "-acodec", "pcm_s16le", tmp], check=True, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
+                    data, sr = sf.read(tmp)
+                except Exception as e:
+                    print(f"Error extracting audio for sampling rate: {e}")
+                    return "**サンプリング周波数**: 読み取りに失敗しました", DEFAULT_WIN_LEN
+                finally:
+                    if os.path.exists(tmp):
+                        try:
+                            os.remove(tmp)
+                        except Exception:
+                            pass
+
+        sr_text = f"**サンプリング周波数**: {sr} Hz"
+        candidates = np.array([256, 512, 1024, 2048, 4096, 8192, 16384])
+        target_win = int(sr * 0.2)
+        closest = int(candidates[np.argmin(np.abs(candidates - target_win))])
+        return sr_text, closest
+    except Exception as e:
+        return f"**サンプリング周波数**: エラー ({str(e)})", DEFAULT_WIN_LEN
+
+# ===== メイン処理 (動画 → 分離) =====
+def process(video_file, win_len=DEFAULT_WIN_LEN, alpha=DEFAULT_ALPHA, use_online=False, session_dir=None):
+    if session_dir is None:
+        session_dir = "."
+    
+    with tempfile.TemporaryDirectory() as tmpdir:
+        audio_path = os.path.join(tmpdir, "audio.wav")
+        
+        # video_file が Gradio Audio コンポーネントからのタプル (sr, audio_data) の場合に対応
+        if isinstance(video_file, tuple) and len(video_file) == 2:
+            sr_audio, audio_data = video_file
+            # タプル形式の場合は直接ファイルに書き込む
+            sf.write(audio_path, audio_data, sr_audio)
+        elif video_file is not None and os.path.exists(video_file):
+            extract_audio(video_file, audio_path)
+        else:
+            create_sample_audio(audio_path)
+
+        # 混合音声データを読み込む
+        mixed_data, sr = sf.read(audio_path)
+        
+        (file1, file2), sep_data, sr = separate_sources(audio_path, win_len, alpha, use_online, session_dir=session_dir)
+        fig = plot_waveform(mixed_data, sep_data)
+        
+        # 混合音声をファイルに保存（セッションディレクトリ）
+        # - ステレオで保存するファイルと、チャンネルごとのファイルを作成
+        mixed_out = os.path.join(session_dir, "mixed_audio.wav")
+        mixed_out_ch1 = os.path.join(session_dir, "mixed_audio_ch1.wav")
+        mixed_out_ch2 = os.path.join(session_dir, "mixed_audio_ch2.wav")
+
+        try:
+            if mixed_data.ndim == 1:
+                # モノラル入力はそのまま保存
+                sf.write(mixed_out, mixed_data, sr)
+                sf.write(mixed_out_ch1, mixed_data, sr)
+                sf.write(mixed_out_ch2, mixed_data, sr)
+            else:
+                # 複数チャンネルがある場合はステレオとして保存し、各チャンネルを個別に書き出す
+                chans = mixed_data.shape[1]
+                if chans >= 2:
+                    sf.write(mixed_out, mixed_data[:, :2], sr)
+                    sf.write(mixed_out_ch1, mixed_data[:, 0], sr)
+                    sf.write(mixed_out_ch2, mixed_data[:, 1], sr)
+                else:
+                    # チャンネル数が1の扱い
+                    sf.write(mixed_out, mixed_data[:, 0], sr)
+                    sf.write(mixed_out_ch1, mixed_data[:, 0], sr)
+                    sf.write(mixed_out_ch2, mixed_data[:, 0], sr)
+        except Exception as e:
+            # 失敗したら最小限の情報を返す（呼び出し側でエラーハンドリング）
+            print(f"Warning: failed to write mixed audio files: {e}")
+            mixed_out_ch1 = mixed_out_ch2 = None
+
+        return sr, fig, file1, file2, mixed_out_ch1, mixed_out_ch2
+
+# ===== Gradio UI (Hugging Face上のみ) =====
+if USE_GRADIO:
+    # セッション管理: ユーザーごとに隔離されたディレクトリ
+    session_dir = None
+    
+    def get_session_dir():
+        """ユーザーセッション用の一時ディレクトリを取得"""
+        global session_dir
+        if session_dir is None:
+            # セッションディレクトリを作成（アプリ起動時に1回だけ）
+            session_id = str(uuid.uuid4())[:8]
+            session_dir = os.path.join(tempfile.gettempdir(), f"gradio_session_{session_id}")
+            os.makedirs(session_dir, exist_ok=True)
+            # パーミッション設定：所有者のみアクセス可能 (mode 0o700)
+            os.chmod(session_dir, 0o700)
+            print(f"🔹 Session directory created: {session_dir}")
+            # プログラム終了時にセッションディレクトリを削除するコールバック登録
+            atexit.register(cleanup_session_dir, session_dir)
+        return session_dir
+    
+    def cleanup_session_dir(session_dir):
+        """セッション終了時にディレクトリを削除"""
+        try:
+            if os.path.exists(session_dir):
+                shutil.rmtree(session_dir)
+                print(f"🔹 Session directory cleaned up: {session_dir}")
+        except Exception as e:
+            print(f"⚠️ Failed to clean up session directory: {e}")
+    
+    with gr.Blocks() as demo:
+        gr.Markdown("🎧 **IVAステレオ音源分離デモ (pyroomacoustics)**")
+        # 小さい動画プレビューにするCSS（アップロードした大きな動画が邪魔なときに有効）
+        # ここで高さを制限し、必要ならブラウザで拡大して見るよう促すUIにできます。
+        gr.HTML("<style>video{max-height:240px; max-width:100%;}</style>")
+        gr.Markdown(
+            """ 
+            このデモでは、動画ファイルから音声を抽出し、2つの音源に分離します。動画をアップロードするか、サンプル混合音声を生成してから「分離開始」ボタンを押してください。  
+            注意:  
+             - 個人情報や機密情報はアップロードしないでください
+             - アップロードによって生じるトラブルは責任を負いかねます 
+            """)
+        # 入力ファイル (左:アップローダ, 右:サンプル生成/再生)
+        with gr.Row():
+            with gr.Column(scale=1):
+                gr.Markdown("**📤 入力ファイル**")
+                video_input = gr.Video(label="🎥 動画ファイルをアップロード")
+                gr.Markdown("**注意:** 動画をアップロードするか、または「🎼 サンプル混合音声を生成・再生」を押してください。どちらかを必ず行ってください。")
+
+            with gr.Column(scale=1):
+                gr.Markdown("**🎵 サンプル生成**")
+                gen_sample_btn = gr.Button("🎼 サンプル混合音声を生成・再生", variant="secondary", size="lg")
+                sample_audio = gr.Audio(label="生成されたサンプル", interactive=False)
+
+        # パラメータ / 処理モード
+        with gr.Group():
+            gr.Markdown("**⚙️ 処理モードとパラメータ**")
+            
+            # 窓長説明（最初）
+            gr.Markdown("💡 窓長（サンプル数）は表示されたサンプリング周波数の0.2倍程度を推奨します。下のボタンを押すと自動設定されます。")
+            
+            # サンプリング周波数計算ボタンと表示
+            with gr.Row():
+                check_sr_btn = gr.Button("▶ サンプリング周波数を計算", variant="secondary", size="sm")
+                sr_display = gr.Markdown("**サンプリング周波数**: まだ計算されていません")
+            
+            # STFT 窓長
+            win_len = gr.Dropdown(
+                [256, 512, 1024, 2048, 4096, 8192, 16384],
+                value=DEFAULT_WIN_LEN,
+                label="STFT 窓長 (hopは自動で半分)"
+            )
+            
+            # 処理モード選択
+            use_online = gr.Radio(
+                choices=["オフライン (AuxIVA)", "オンライン (Online AuxIVA)"],
+                value="オフライン (AuxIVA)",
+                label="処理モード",
+                interactive=True
+            )
+            
+            # オンライン処理専用パラメータ区切り
+            gr.Markdown("💡 **以下はオンライン処理の時のみ有効です**")
+            
+            # Online-specific parameters
+            forgetting_factor = gr.Slider(0.90, 0.99, value=DEFAULT_ALPHA, step=0.01, label="忘却係数 (高いほど過去の情報を忘れにくくなります)")
+
+            run_btn = gr.Button("▶ 分離開始", size="lg", variant="primary")
+
+        # ステータス表示（入力チェック等のメッセージを表示）
+        status_output = gr.Markdown("", visible=True)
+        # 結果表示 (下部)
+        with gr.Group():
+            gr.Markdown("**📊 結果**")
+            fig_out = gr.Plot(label="混合音声 vs 分離音声の波形比較")
+            with gr.Row():
+                mixed_audio_ch1 = gr.Audio(label="🎵 混合音 - チャンネル1", type="filepath")
+                mixed_audio_ch2 = gr.Audio(label="🎵 混合音 - チャンネル2", type="filepath")
+                audio1 = gr.Audio(label="🔊 分離音1", type="filepath")
+                audio2 = gr.Audio(label="🔊 分離音2", type="filepath")
+
+        # コールバック: サンプル生成
+        def generate_and_play_sample():
+            try:
+                out_path = "sample_mixed_ch1.wav"
+                # sample_code_c5_2 (若干改変) を使ってサンプルを生成
+                sample_code_c5_2.main(out_path)
+                data, sr = sf.read(out_path)
+                # 生成されたサンプルを保存（分離処理で2chが必要）
+                sf.write(out_path, data, sr)
+                return out_path
+            except Exception as e:
+                print(f"Error generating sample audio: {e}")
+                return None
+
+        gen_sample_btn.click(generate_and_play_sample, inputs=[], outputs=[sample_audio])
+
+        # サンプリング周波数計算コールバック（win_lenを更新）
+        check_sr_btn.click(get_sampling_rate, inputs=[video_input, sample_audio], outputs=[sr_display, win_len])
+
+        # main processing callback
+        def process_and_format(video_file, sample_file, win_len_val, forgetting_val, use_online_mode):
+            try:
+                use_online_flag = use_online_mode == "オンライン (Online AuxIVA)"
+
+                # 入力チェック: 動画がアップロードされていない && サンプルも生成されていない -> エラー表示
+                if not video_file and not sample_file:
+                    status_msg = "❗ 動画が選択されていません。動画をアップロードするか、サンプルを生成してください。"
+                    return None, None, None, None, status_msg
+
+                print(f"DEBUG: video_file={video_file}, sample_file={sample_file}")
+                print(f"DEBUG: video_file type={type(video_file)}, sample_file type={type(sample_file)}")
+                
+                target = video_file or sample_file
+                print(f"DEBUG: target={target}, target type={type(target)}")
+
+                # セッションディレクトリを取得してprocess()に渡す
+                sess_dir = get_session_dir()
+                sr, fig, file1, file2, mixed_out_ch1, mixed_out_ch2 = process(target, win_len=win_len_val, alpha=forgetting_val, use_online=use_online_flag, session_dir=sess_dir)
+                status_msg = "✅ 分離が完了しました。下のオーディオを確認してください。"
+                return fig, mixed_out_ch1, mixed_out_ch2, file1, file2, status_msg
+            except Exception as e:
+                import traceback
+                error_msg = f"❌ エラーが発生しました: {str(e)}\n{traceback.format_exc()}"
+                print(error_msg)
+                return None, None, None, None, None, error_msg
+
+        run_btn.click(
+            process_and_format,
+            inputs=[video_input, sample_audio, win_len, forgetting_factor, use_online],
+            outputs=[fig_out, mixed_audio_ch1, mixed_audio_ch2, audio1, audio2, status_output]
+        )
+
+        gr.Markdown(
+        """
+        ---
+
+        **Resources Used for Demo Site**
+        - pyroomacoustics (https://github.com/LCAV/pyroomacoustics)
+        - Pythonで学ぶ音源分離（機械学習実践シリーズ）のソースコード (https://github.com/masahitotogami/python_source_separation)
+        - CMU ARCTIC Concatenated 15s (https://zenodo.org/records/3066489) 
+        - J. Kominek and A. W. Black, “CMU ARCTIC databases for speech synthesis,” CMU-LTI-03-177, 2003.
+
+        **references**
+        - N. Ono, *Stable and fast update rules for independent vector analysis based on auxiliary function technique,* Proc. WASPAA, pp. 189-192, Oct. 2011.
+        - T. Taniguchi, N. Ono, A. Kawamura, and S. Sagayama, *An auxiliary-function approach to online independent vector analysis for real-time blind source separation,* Proc. HSCMA, pp. 107-111, May. 2014.
+
+        This demo is for educational and research purposes only.
+        """
+        )
+
+    demo.launch(debug=True)
+else:
+    # ===== ローカルモード：対話形式でパラメータ入力 =====
+    print("🔍 Local mode detected (gradio not available)")
+    print("=" * 50)
+    
+    # test_video 入力
+    print("\n【ビデオファイル】")
+    video_input = input("ビデオファイルを入力してください (Enterで test_input.mp4, sでサンプル, 他は入力値): ").strip()
+    if video_input.lower() in [""]:
+        test_video = "test_input.mp4"
+    elif video_input.lower() in ["s"]:
+        test_video = None
+        DEFAULT_WIN_LEN = 2048
+    else:
+        test_video = video_input
+    
+    if  test_video is not None and not os.path.exists(test_video):
+        raise FileNotFoundError(f"{test_video} が見つかりません。")
+    
+    # win_len 入力
+    print("\n【STFT 窓長】")
+    win_len_input = input(f"win_lenを入力してください (デフォルト: {DEFAULT_WIN_LEN}): ").strip()
+    if win_len_input == "":
+        win_len = DEFAULT_WIN_LEN
+    else:
+        try:
+            win_len = int(win_len_input)
+        except ValueError:
+            print(f"⚠️  無効な入力。デフォルト値 {DEFAULT_WIN_LEN} を使用します。")
+            win_len = DEFAULT_WIN_LEN
+    
+    # use_online 入力
+    print("\n【処理モード】")
+    use_online_input = input("オンライン処理を使用しますか？ (yes/no, デフォルト: yes): ").strip().lower()
+    use_online = not use_online_input in ["no", "n"]
+
+    # use_online が True の場合のみ alpha 入力
+    if use_online:
+        print("\n【Alpha パラメータ】")
+        alpha_input = input(f"alphaを入力してください (0.90-0.99, デフォルト: {DEFAULT_ALPHA}): ").strip()
+        if alpha_input == "":
+            alpha = DEFAULT_ALPHA
+        else:
+            try:
+                alpha = float(alpha_input)
+                if not (0.90 <= alpha <= 0.99):
+                    print(f"⚠️  alpha は 0.90-0.99 の範囲で指定してください。デフォルト値 {DEFAULT_ALPHA} を使用します。")
+                    alpha = DEFAULT_ALPHA
+            except ValueError:
+                print(f"⚠️  無効な入力。デフォルト値 {DEFAULT_ALPHA} を使用します。")
+                alpha = DEFAULT_ALPHA
+        
+    else:
+        alpha = DEFAULT_ALPHA
+    
+    # パラメータ表示
+    print("\n" + "=" * 50)
+    print("【処理パラメータ】")
+    print(f"  ビデオファイル: {test_video if test_video else 'サンプル音声を生成'}")
+    print(f"  win_len: {win_len}")
+    print(f"  use_online: {use_online}")
+    if use_online:
+        print(f"  alpha: {alpha}")
+    print("=" * 50)
+    print("\n処理を開始します...")
+    
+    # 処理実行
+    sr, fig, file1, file2, mixed_ch1, mixed_ch2 = process(test_video, win_len=win_len, alpha=alpha, use_online=use_online)
+    
+    print(f"✅ 処理完了")
+    print(f"Sampling Rate: {sr}")
+    print(f"Saved separated files: {file1}, {file2}")
+    print(f"Saved mixed channel files: {mixed_ch1}, {mixed_ch2}")
+    fig.savefig("separated_plot.png")
+    print("Waveform plot saved to separated_plot.png")

auxiva_online.py

@@ -0,0 +1,169 @@
+# Copyright (c) 2025 Tetsuya Ueda
+# このコードはPyroomacoutsticsに記載されているAuxIVAを参考にしてそのオンライン拡張版を実装した.
+# そのため，このコードのオリジナルの著作権は以下の通りPyroomacoutsticsの著作権表示に従う.
+# このコード自体の著作権はMITライセンスに従う.
+
+# Copyright (c) 2018-2019 Robin Scheibler
+#
+# Permission is hereby granted, free of charge, to any person obtaining a copy
+# of this software and associated documentation files (the "Software"), to deal
+# in the Software without restriction, including without limitation the rights
+# to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+# copies of the Software, and to permit persons to whom the Software is
+# furnished to do so, subject to the following conditions:
+#
+# The above copyright notice and this permission notice shall be included in all
+# copies or substantial portions of the Software.
+#
+# THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+# IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+# FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+# AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+# LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+# OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+# SOFTWARE.
+"""
+auxiva_online
+======
+
+Blind Source Separation using independent vector analysis based on auxiliary function.
+This function will separate the input signal into statistically independent sources
+without using any prior information.
+
+Example
+-------
+.. code-block:: python
+
+    from scipy.io import wavfile
+    import pyroomacoustics as pra
+
+    # read multichannel wav file
+    # audio.shape == (nsamples, nchannels)
+    fs, audio = wavfile.read("my_multichannel_audio.wav")
+
+    # STFT analysis parameters
+    fft_size = 4096  # `fft_size / fs` should be ~RT60
+    hop == fft_size // 2  # half-overlap
+    win_a = pra.hann(fft_size)  # analysis window
+    # optimal synthesis window
+    win_s = pra.transform.compute_synthesis_window(win_a, hop)
+
+    # STFT
+    # X.shape == (nframes, nfrequencies, nchannels)
+    X = pra.transform.analysis(audio, fft_size, hop, win=win_a)
+
+    # Separation
+    Y = auxiva_online(X)
+
+    # iSTFT (introduces an offset of `hop` samples)
+    # y contains the time domain separated signals
+    # y.shape == (new_nsamples, nchannels)
+    y = pra.transform.synthesis(Y, fft_size, hop, win=win_s)
+
+References
+----------
+
+.. [1] T. Taniguchi, N. Ono, A. Kawamura, and S. Sagayama, *An auxiliary-function approach to online independent vector analysis for real-time blind source separation,* Proc. HSCMA, pp. 107-111, May. 2014.
+
+"""
+import numpy as np
+
+def auxiva_online(
+    X,
+    model="laplace",
+    alpha=0.9,
+):
+    """
+    This is an implementation of online AuxIVA that separates the input
+    signal into statistically independent sources. The separation is done
+    in the time-frequency domain and the FFT length should be approximately
+    equal to the reverberation time.
+
+    Two different statistical models (Laplace or time-varying Gauss) can
+    be used by using the keyword argument `model`. The performance of Gauss
+    model is higher in good conditions (few sources, low noise), but Laplace
+    (the default) is more robust in general.
+
+    この関数はpyroomacousticsにおけるAuxIVAのonline拡張を実装したものである。
+    ただし，デモ作成を目的としており，コードの修正は最小限に留めている．
+
+    Parameters
+    ----------
+    X: ndarray (nframes, nfrequencies, nchannels)
+        STFT representation of the signal
+    model: str
+        The model of source distribution 'gauss' or 'laplace' (default)
+    alpha: float
+        Forgetting factor for the online AuxIVA (0 < alpha < 1).
+
+    Returns
+    -------
+    Returns an (nframes, nfrequencies, nsources) array.
+    """
+
+    n_frames, n_freq, n_chan = X.shape
+
+    # default to determined case
+    n_src = n_chan
+
+    if model not in ["laplace", "gauss"]:
+        raise ValueError("Model should be either " "laplace" " or " "gauss" ".")
+
+    W_hat = np.zeros((n_freq, n_chan, n_chan), dtype=X.dtype)
+    W = W_hat[:, :n_src, :]
+
+    # initialize W
+    for f in range(n_freq):
+        W[f, :, :n_src] = np.eye(n_src)
+
+    eps = 1e-15
+    cov_init_factor=1e-9
+    eyes = np.tile(np.eye(n_chan, n_chan), (n_freq, 1, 1))
+    V = np.tile(np.eye(n_chan, n_chan, dtype=X.dtype), (n_freq, n_src, 1, 1))*cov_init_factor
+    r_inv = np.zeros((n_src, 1))
+    r = np.zeros((n_src, 1))
+
+    # Things are more efficient when the frequencies are over the first axis
+    Y = np.zeros((n_freq, n_src, n_frames), dtype=X.dtype)
+    X = X.transpose([1, 2, 0]).copy()
+    
+    Y = np.zeros_like(X, dtype=X.dtype)
+    for frame in range(n_frames):
+        # W: (n_freq x n_src x n_chan)
+        # X: (n_freq x n_chan x n_frames)
+        XTmp = X[:, :, frame, None] # (n_freq x n_chan x 1)
+        YTmp = np.matmul(W, XTmp) # (n_freq x n_src x 1)
+        # shape: (n_frames, n_src)
+        if model == "laplace":
+            r[:, :] = 2.0 * np.linalg.norm(YTmp, axis=0) # (n_src x 1)
+        elif model == "gauss":
+            r[:, :] = (np.linalg.norm(YTmp, axis=0) ** 2) / n_freq # (n_src x 1)
+        r[r < eps] = eps
+        r_inv[:, :] = 1.0 / r
+
+        # Update now the demixing matrix
+        for s in range(n_src):
+            # Compute Auxiliary Variable
+            VTmp= (
+                np.matmul(XTmp*r_inv[None, s, None, :], np.conj(XTmp.swapaxes(1, 2)))
+            )
+            V[:, s, :, :] = alpha*V[:, s, :, :] + (1-alpha)*VTmp
+
+            WV = np.matmul(W_hat, V[:, s])
+            W[:, s, :] = np.conj(np.linalg.solve(WV, eyes[:, :, [s]]))[..., 0]
+
+            # normalize
+            denom = np.matmul(
+                np.matmul(W[:, None, s, :], V[:, s, :, :]), np.conj(W[:, s, :, None])
+            )
+            W[:, s, :] /= np.sqrt(denom[:, :, 0])
+        
+        YTmp = np.matmul(W, XTmp) # (n_freq x n_src x 1)
+        # projection_back
+        A = np.linalg.inv(W) # (n_freq x n_chan x n_src)
+        # A:    (n_freq x n_chan x n_src)
+        # YTmp: (n_freq x n_src x 1)
+        Y[:, :, frame] = A[:, 0] * YTmp[:, :, 0] # (n_freq x n_src x n_frames)
+    Y = Y.transpose([2, 0, 1])
+    return Y
+

requirements.txt

@@ -0,0 +1,6 @@
+gradio==6.0.1
+numpy
+scipy==1.15.3
+soundfile
+matplotlib
+pyroomacoustics==0.8.4

sample_code_c5_2.py

@@ -0,0 +1,158 @@
+'''
+このコードはPythonで学ぶ音源分離（第5章）のサンプルコード5-2を改変したものです.
+https://raw.githubusercontent.com/masahitotogami/python_source_separation/master/section5/sample_code_c5_2.py
+'''
+import os
+import requests
+import tarfile
+import wave as wave
+import pyroomacoustics as pa
+import numpy as np
+import random
+
+
+def download_and_extract_cmu_arctic():
+    folder_name = "cmu_arctic_concat15"
+    tar_filename = "cmu_arctic_concat15.tar.gz"
+    url = "https://zenodo.org/records/3066489/files/cmu_arctic_concat15.tar.gz?download=1"
+
+    # 既にフォルダがある場合は処理しない
+    if os.path.exists(folder_name):
+        print(f"📂 フォルダ '{folder_name}' は既に存在しています。ダウンロードしません。")
+        return
+
+    print(f"⬇️ '{folder_name}' が見つかりません。ダウンロード開始...")
+
+    # ===== ダウンロード =====
+    response = requests.get(url, stream=True)
+    response.raise_for_status()
+
+    with open(tar_filename, "wb") as f:
+        for chunk in response.iter_content(chunk_size=8192):
+            f.write(chunk)
+
+    print(f"📦 ダウンロード完了: {tar_filename}")
+
+    # ===== 展開 =====
+    print(f"📂 展開中...")
+    with tarfile.open(tar_filename, "r:gz") as tar:
+        tar.extractall()
+
+    print("🎉 展開完了!")
+
+    # ===== ダウンロードファイル削除 =====
+    os.remove(tar_filename)
+    print(f"🧹 掃除完了: {tar_filename} を削除しました")
+
+
+def main(audio_output="mixed_audio.wav"):
+    # CMU Arcticデータセットをダウンロード・展開
+    download_and_extract_cmu_arctic()
+
+    # 乱数の種を初期化
+    np.random.seed(0)
+
+    # ===== ① 使用する音源ファイル =====
+    base_dir = "cmu_arctic_concat15/"
+    files = os.listdir(base_dir)
+    wav_files = [
+        base_dir + f for f in files
+        if not f.startswith(".") and f.endswith(".wav")
+    ]
+    clean_wave_files = random.sample(wav_files, 2)
+
+    # 音源数
+    n_sources = len(clean_wave_files)
+
+    # 長さを調べる
+    n_samples = 0
+    n_samples_min = 1e10
+    for clean_wave_file in clean_wave_files:
+        wav = wave.open(clean_wave_file)
+        if n_samples < wav.getnframes():
+            n_samples = wav.getnframes()
+        n_samples_min = min(n_samples_min, wav.getnframes())
+        wav.close()
+
+    clean_data = np.zeros([n_sources, n_samples])
+
+    # ファイルを読み込む
+    s = 0
+    for clean_wave_file in clean_wave_files:
+        wav = wave.open(clean_wave_file)
+        data = wav.readframes(wav.getnframes())
+        data = np.frombuffer(data, dtype=np.int16)
+        data = data / np.iinfo(np.int16).max  # -1〜1に正規化
+        clean_data[s, :wav.getnframes()] = data
+        wav.close()
+        s = s + 1
+
+    # ===== シミュレーションのパラメータ =====
+
+    sample_rate = 16000   # サンプリング周波数
+    SNR = 50.             # 音声と雑音の比率 [dB]
+    room_dim = np.r_[10.0, 10.0, 10.0]  # 部屋の大きさ
+
+    # マイクロホンアレイを置く部屋の場所
+    mic_array_loc = room_dim / 2 + np.random.randn(3) * 0.1
+
+    # マイクロホンアレイのマイク配置（2ch固定）
+    mic_alignments = np.array(
+        [
+            [-0.01, 0.0, 0.0],
+            [0.01, 0.0, 0.0],
+        ]
+    )
+
+    n_channels = mic_alignments.shape[0]
+    R = mic_alignments.T + mic_array_loc[:, None]
+
+    # 部屋を生成する
+    room = pa.ShoeBox(room_dim, fs=sample_rate, max_order=0)
+
+    # マイクロホンアレイの情報を設定
+    room.add_microphone_array(pa.MicrophoneArray(R, fs=room.fs))
+
+    # 音源の場所
+    doas = np.array(
+        [[np.pi/2., 0],
+        [np.pi/2., np.pi/2.]]
+    )
+    distance = 1.
+    source_locations = np.zeros((3, doas.shape[0]), dtype=doas.dtype)
+    source_locations[0, :] = np.cos(doas[:, 1]) * np.sin(doas[:, 0])
+    source_locations[1, :] = np.sin(doas[:, 1]) * np.sin(doas[:, 0])
+    source_locations[2, :] = np.cos(doas[:, 0])
+    source_locations *= distance
+    source_locations += mic_array_loc[:, None]
+
+    # 各音源を部屋に追加
+    for s in range(n_sources):
+        clean_data[s] /= np.std(clean_data[s])
+        room.add_source(source_locations[:, s], signal=clean_data[s])
+
+    # ===== シミュレーション実行 =====
+    room.simulate(snr=SNR)
+
+    # ===== ステレオ1つのファイルとして保存 =====
+    multi_conv_data = room.mic_array.signals  # (channels, samples)
+
+    # int16スケール調整
+    data_scaled_L = (multi_conv_data[0] * np.iinfo(np.int16).max / 10).astype(np.int16)
+    data_scaled_R = (multi_conv_data[1] * np.iinfo(np.int16).max / 10).astype(np.int16)
+
+    # ステレオ結合
+    stereo_data = np.stack([data_scaled_L, data_scaled_R], axis=1)[:n_samples_min]
+
+    # ===== 保存 =====
+    out = wave.open(audio_output, "w")
+    out.setnchannels(2)
+    out.setsampwidth(2)      # int16
+    out.setframerate(sample_rate)
+    out.writeframes(stereo_data.tobytes())
+    out.close()
+
+    print(f"🎧 {audio_output} を生成しました（2chステレオ）")
+
+if __name__ == "__main__":
+    main()