TL;DR: 0.5Mパラメータの軽量モデルFalconで、口元の映像を手がかりにした音声分離をストリーミング動作させます。AV-TF-GridNet比で計算量は約1/20です。あわせて、実環境に近い評価データRealSSAも公開しています。 Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes ポイント ・🎧 既存ベンチは話者2人・無響室が中心で、残響や近接・遠方の干渉音を反映していません ・🏠 RealSSA-Simは4種の部屋、近接干渉1〜5人、遠方干渉10〜15人の約153時間で、スマホ実録音の評価セットも用意しています ・🧩 FalconはU-Net型のシングルパス分離器で、ボトルネックで時間周波数を処理し、GCIで大域文脈をスキップ接続に注入します ・🎯 学習時だけ使う話者コントラスティブ損失で、近接干渉話者から遠ざけます。推論コストは増えません ・⚡ 10.6G MACs、GPU 51.3 msで、SwiftNet-12（45.3G、172.1 ms）より大幅に軽量です ・📈 シミュレーション4ベンチでSI-SNRi・SDRiが最良ですが、実録音のWERはAV-Mossformer2がわずかに上回ります 軽さと精度を両立しつつ、評価の現実性にも踏み込んだ点が参考になります。ただし損失にはクリーンな干渉波形が必要で、実録音への適用は今後の課題です。 #SpeechProcessing# #AudioVisual#