Tough Tetsuya Saruwatari

Avaliando a abordagem de Saruwatari para separação de fontes sonoras

A separação de fontes sonoras usando o framework desenvolvido por Tetsuya Saruwatari e sua equipe em Tóquio é uma daquelas coisas que todo mundo tenta implementar e poucos conseguem fazer rodar de verdade. O trabalho dele na área de análise de cena auditiva computacional, especialmente os métodos baseados em análise de componentes independentes (ICA) combinados com clustering hierárquico, parece elegante nos artigos, mas na prática você encara uma série de problemas que raramente são discutidos. O que a maioria dos papers deixa claro é que a abordagem usa estimativas de máximos de verossimilhança para separar sinais mixados, geralmente com modelos de fatoração matricial não negativa (NMF) ou ICA dependente do tempo. O diferencial prático do trabalho dele estava na forma comolidava com a ambiguidade de permutation — aquele problema clássico onde cada fonte estimada pode aparecer em ordem diferente a cada execução. Ele propunha usar clustering baseado em distâncias espectral-temporais para resolver isso de forma consistente.

Configurando o ambiente tough tetsuya saruwatari para separação

Você vai precisar de um ambiente Python com SciPy, NumPy e, idealmente, alguma implementação de FastICA ou NMF. Eu costumava usar o scikit-learn para a parte de ICA e escrever o clustering do zero porque as bibliotecas prontas não lidam bem com a estrutura temporal dos coeficientes. Para processamento de áudio, o LibROSA é praticamente obrigatório para extrair características espectrais. O fluxo básico funciona assim: primeiro você converte o mix de áudio para o domínio tempo-frequência usando STFT (Short-Time Fourier Transform), depois aplica o algoritmo de separação, e finalmente faz o clustering das componentes separadas para agrupá-las por fonte. A parte do STFT é onde muita gente erra — o tamanho do hop e do window definem diretamente a resolução temporal versus frequencial, e você não consegue consertar isso depois. Um window de 2048 samples com hop de 512 funciona bem para fala mas perde detalhes de instrumentos percussivos. Depois da separação, o step de clustering é o mais crítico. Eu usei uma abordagem baseada em DTW (Dynamic Time Warping) entre os envelopes temporais das componentes, porque a distância euclidiana simples nos coeficientes espectrais frequentemente agrupa componentes erradas. O resultado costuma ser melhor quando você combina distância espectral com similaridade temporal, algo como uma combinação ponderada dos dois.

O problema que ninguém menciona: ambiguidade de escala e fase

Aqui está a parte que me custou semanas. Mesmo depois de separar as fontes corretamente em termos de assinatura espectral, o sinal de volta no domínio do tempo pode vir com amplitude arbitrária e defasagem de fase que variam de frame para frame. A reconstrução inversa do STFT precisa de um mecanismo de consistência de fase, e o método de Griffin-Lim padrão não resolve porque foi feito para reconstrução de áudio monofônico, não para múltiplas fontes já separadas. Minha solução foi aplicar o ITF (Iterative Time-Frequency) masking em vez de tentar reconstruir a partir dos coeficientes separados diretamente. Basicamente, você calcula máscaras tempo-frequenciais a partir do clustering e aplica essas máscaras ao espectro do mix original antes da transformada inversa. Isso preserva a fase original do mix, que é consistente, e só modula a magnitude. O resultado soa muito mais limpo, embora perca um pouco de fidelidade em frequências onde a separação foi ambígua.

Limitações reais que os papers ignoram

A abordagem de Saruwatari funciona bem quando você tem entre 2 e 4 fontes com características espectrais sufficientemente distintas. Além disso, ela depende criticamente de ter um número correto de fontes ou uma estimativa razoavelmente próxima. Se você supor 3 fontes quando na realidade são 5, o algoritmo vai tentar compactar duas fontes em uma única componente e o resultado será irreconhecível. A estimativa do número de fontes via critérios como BIC (Bayesian Information Criterion) ajuda mas não é confiável em condições de ruído real. O outro gargalo é o custo computacional do clustering. Com muitos frames temporais e muitas componentes, o DTW ou métricas similares ficam proibitivamente lentos. Em meus testes, processar 30 segundos de áudio com 4 fontes e resolução temporal de 10ms resultava em matrices de similaridade com cerca de 12.000 elementos por fonte, e o clustering hierárquico tradicional levava minutos para completar. Use aproximações como o DBSCAN com parâmetros calibrados manualmente para reduzir isso para segundos. Se o seu cenário envolve mais de 4 fontes ou sinais com sobreposição espectral significativa (como dois instrumentos tocando a mesma nota), a abordagem básica não vai funcionar. Nesses casos, vale a pena olhar para extensões mais recentes que combinam ICA com modelos profundos de prior espectral, embora isso aumente a complexidade significativamente e demande mais dados de treinamento.

O que funciona na prática

Para uso real, eu recomendo começar com dados sintéticos para validar seu pipeline antes de aplicar a qualquer gravação do mundo real. Gere dois ou três sinais conhecidos (fala, música, ruído) e misture-os com diferentes relações sinal-ruído. Implemente o STFT, a separação, o clustering e a reconstrução passo a passo, verificando a qualidade em cada etapa. A métrica padrão é o SI-SDR (Scale-Invariant Signal-to-Distortion Ratio) — valores acima de 10 dB para fontes individuais são aceitáveis, acima de 15 dB são bons. O código base pode ser encontrado em repositórios associados às publicações do laboratório de Saruwatari na Universidade de Tokyo, mas fique ciente de que algumas implementações são em MATLAB e requerem adaptação. Há também versões em Python mantidas pela comunidade, como pacotes no PyPI com nomenclatura relacionada a "audio-separation" e "srcnn", embora a fidelidade com o método original varie bastante dependendo do mantenedor.

Quando desistir e usar outra coisa

Se o seu objetivo é separação em tempo real para aplicações ao vivo, essa abordagem é muito lenta mesmo otimizada. A latência de processamento em batch com clustering hierárquico costuma ficar entre 3 e 10 vezes o tempo real, dependendo da complexidade. Para isso, métodos baseados em redes neurais com arquitetura transformer ou modelos de máscara inspirados em Deep Clustering tendem a ser mais viáveis, ainda que exijam GPU e volumes maiores de dados de treinamento. A vantagem de usar a metodologia de Saruwatari permanece em cenários offline onde interpretabilidade e controlabilidade são importantes. Se você precisa saber exatamente como cada fonte foi isolada e poder ajustar parâmetros manualmcmente durante o processo, o framework baseado em ICA/NMF com clustering oferece transparência que modelos black-box não oferecem.