Ela Fala Mais Do Que Eu

O problema com vozes sintetizadas em português

A maioria das pessoas que chega até ela fala mais do que eu primeiro tenta o Google TTS ou o Azure e fica frustrada porque a pronúncia fica robótica, especialmente com nomes próprios, sotaques regionais e aquela entonação que faz qualquer brasileiro perceber na hora que não é humano. O que esse projeto faz basicamente é clonar uma voz a partir de um áudio curto — às vezes só 30 segundos — e aplicar em texto, com resultados que variam muito dependendo do material de entrada. O processo começa com a coleta do áudio fonte. Não precisa ser perfeito, mas tem regras que todo mundo ignora. Gravação com ruído de fundo, eco de ambiente ou compressão excessiva de celular vai destruir a qualidade antes mesmo de você rodar o modelo. O ideal é capturar entre 1 e 3 minutos de fala limpa, em formato WAV ou MP3 sem compressão agressiva, preferencialmente com uma única pessoa falando de forma natural, não lendo notícias com entonação artificial. Depois da gravação, o áudio passa por uma etapa de pré-processamento que muitos usuários pulam e depois reclamam dos resultados. O modelo precisa de silence trimming para remover trechos mortos, normalização de volume para que o pico não estoure, e separação em segmentos de cerca de 5 a 15 segundos. Fiz isso manualmente uma vez com um áudio de podcast que tinha introduções musicais e ruído de rua no fundo. O resultado inicial foi inutilizável — a voz sintetizada parecia estar sempre em outro ambiente acústico. A solução foi usar o Audacity para isolar os trechos de fala pura, aplicar um noise gate com threshold em -40 dB e depois converter para 22050 Hz mono. Só aí o treinamento rendeu algo minimamente aceitável.

O processo de treinamento

Com o áudio preparado, você alimenta o modelo de fine-tuning. As configurações padrão que funcionam na maioria dos casos são: learning rate entre 0.0001 e 0.0005, entre 500 e 1500 epochs, e batch size de 2 se estiver rodando em GPU com 8 GB de VRAM. Mais que isso e você começa a overfit — a voz fica perfeita para o que foi treinado e terrível para qualquer outra frase. Já vi gente treinar por 3000 epochs e obter uma voz que soava exatamente igual ao original, mas que distorcia completamente palavras que o falante nunca pronunciou no dataset. O checkpoint que você deve salvar é o do melhor loss, não o último. O modelo continua "melhorando" nos métricas mesmo quando a qualidade perceptual já começou a cair. Uma verificação rápida que faço é sintetizar três frases diferentes e ouvir antes de decidir se continuo ou nono modelo.

Limitações que ninguém conta

O ela fala mais do que eu — ou qualquer solução baseada em técnicas similares de voice cloning — tem pontos cegos sérios. Primeiro, ele não generaliza bem para sotaques diferentes do falante fonte. Se você treinar com alguém de São Paulo e pedir para sintetizar algo com entonação nordestina, o modelo vai ignorar completamente. Segundo, a velocidade de fala tende a ser mais lenta que o normal, especialmente em frases longas com muitas vírgulas. Terceiro, emoções e variações de tom são praticamente inexistentes — tudo sai num registro meio neutro, mesmo que o áudio fonte tenha sido extremamente expressivo. Para uso profissional, o gargalo real é a consistência. Em sessões de gravação longa, a voz do modelo pode variar de um trecho para outro porque cada síntese é independente. Não há manutenção de contexto entre frases. A solução que encontrei foi gerar os áudios em blocos menores e depois usar crossfade de 50 a 100 ms na edição, além de aplicar um leve equalizador consistente em toda a faixa final para uniformizar o timbre.

O que fazer se o clone não ficar bom

Se o resultado não satisfizer, as opções são: refazer a gravação fonte com material de maior qualidade, aumentar o tempo de treinamento com um learning rate menor para um ajuste mais fino, ou combinar múltiplos clones de diferentes falantes e editar manualmente os segmentos problemáticos. Em alguns casos, o caminho mais rápido é simplesmente abandonar o cloning e usar um synth vocal pré-treinado em português, como os modelos da Coqui TTS ou as vozes neurais do Amazon Polly, que embora sejam menos pessoais, são consistentes e não exigem horas de treino. O download e os código-fonte estão disponíveis no repositório original do projeto. As dependências principais são PyTorch, librosa para processamento de áudio, e o Tacotron 2 ou FastSpeech 2 como backbone, dependendo da versão que você for usar. Rodar em CPU é viável mas lento — uma síntese de 30 segundos de áudio pode levar de 2 a 5 minutos. Com GPU adequada, esse tempo cai para uns 10 a 30 segundos. A curva de aprendizado real não está no treinamento em si, mas na preparação dos dados. Quem gasta 80% do tempo limpando e segmentando o áudio fonte acaba com resultados 10 vezes melhores que quem pula essa etapa e culpa o modelo por defeitos que nem existem.