Ditado Ortográfico

Como fazer ditado ortográfico para testes de ASR

Eu já passei horas sentada no estúdio de gravação, ouvindo meus próprios arquivos de áudio e comparando linha por linha com a transcrição original. O ditado ortográfico parece simples no papel — você lê um texto e grava, depois verifica se o sistema transcreveu certo —, mas na prática tem detalhes que ninguém conta até você errar e perder um dia inteiro caçando bugs. O ditado ortográfico serve principalmente para avaliar a precisão de sistemas de reconhecimento de fala (ASR). Você tem um texto-fonte com grafia controlada, uma gravação limpa desse texto, e a saída do sistema que precisa ser comparada. A métrica básica é a taxa de erro de palavras, mas existem nuances que costumam passar batidas.

Montando um ditado ortográfico confiável

A primeira coisa que todo mundo esquece: a escolha do texto-fonte define tudo. Se você usar textos genéricos da internet, vai se dar mal. Palavras ambíguas, gírias, variações regionais, números escritos por extenso de formas inconsistentes — tudo isso introduz ruído na avaliação. Eu sempre construo meu próprio corpus com critérios rígidos. O texto precisa ter densidade fonética equilibrada. Isso significa incluir todas as vogais, consoantes mais frequentes e os pares mínimos que confundem o sistema. Por exemplo, no português brasileiro, "sessão", "seção" e "cessão" produzem a mesma saída fonética. Se o seu ASR é baseado em grafema e não em fonema, o ditado ortográfico vai mostrar erro onde não existe erro real de pronúncia. Eu recomendo incluir também números, datas, siglas e abreviações. Um sistema que "ouviu" corretamente "Dr." como "doutor" mas errou "Sr." para "senhor" é um sistema inconsistente. Anotações e símbolos aparecem em textos reais de clientes o tempo todo. Não testar com eles é como treinar piloto só em pista vazia.

O procedimento passo a passo

Grave o áudio em ambiente controlado. Microfone boa qualidade, distância fixa, sem ruído de fundo. O falante deve ler naturalmente, em ritmo moderado. Eu já vi gente gravar em condições precárias e depois culpar o ASR por erros que eram da gravação. Antes de rodar qualquer teste, ouça o áudio completo duas vezes. Se você travar em alguma palavra na escuta, o sistema também vai travar. A transcrição referência deve ser feita por pelo menos duas pessoas independentemente. Quando há divergência, vocês revisam juntos. Esse processo costuma levar entre 30 minutos e 1 hora para cada 5 minutos de áudio, dependendo da complexidade do texto. Não pule essa etapa — uma referência errada invalida todo o teste. Para a comparação, use a ferramenta que for padrão no seu ambiente. No setup que eu uso, a sequência é: normalizar ambos os textos (remover pontuação, converter para minúsculas, expandir abreviações), calcular a distância de Levenshtein e derivar WER. O script leva cerca de 5 minutos para processar um corpus de 30 minutos de áudio.

Aqui vai algo que não encontrei em nenhum tutorial: a normalização prévia é onde a maioria dos erros passa. Se seu sistema trata "R$ 50,00" como cinco tokens diferentes ("R$", "cinco", "vírgula", "zero", "zero") e sua referência normalizada transforma isso em "cinquenta reais", o WER vai inflar artificialmente. Defina regras de normalização antes de começar e documente todas elas. Eu tenho uma planilha viva com essas regras que uso em qualquer projeto novo.

Armazenamento e download dos arquivos

Para quem quer praticar ou validar um sistema caseiro, preparei um conjunto de áudio com ditado ortográfico em português brasileiro. Os arquivos estão organizados por nível de dificuldade — básico, intermediário e avançado —, cada um com o texto fonte, a referência de transcrição e uma pasta de resultados exemplo. Baixar o kit completo de ditado ortográfico (120 MB) Os áudios foram gravados em estúdio com falante nativo, taxa de amostragem 16 kHz, formato WAV. O texto fonte contém 850 palavras distribuídas em segmentos de 30 segundos. Incluí também versões com ruído simulado para testes de robustez.

Erros comuns que eu vejo todo dia

Um deles é achar que WER baixo significa sistema bom. Não significa. Um sistema pode ter WER de 8% em ditado ortográfico e ainda assim ser inútil para transcrever reuniões reais, onde tem sobreposição de vozes, interrupções e gírias. O ditado ortográfico mede precisão em condições ideais. É um piso, não um teto. Outro erro grave é usar o mesmo corpus para treino e teste. Se o sistema foi exposto a trechos do ditado durante o treinamento, o WER vai ser artificialmente baixo. Separe os dados. Eu uso uma divisão de 80% treino, 20% teste, com verificação cruzada em três folds. Tem também a questão da pontuação. Muitos sistemas modernos de ASR incluem puntuadores automáticos. Se você medir WER sem considerar a pontuação, sistemas com puntuador ruim podem passar despercebidos. Eu recomendo calcular dois WERs: um cego a pontuação e outro incluindo erros de pontuação como substituições.

Quando o ditado ortográfico não funciona

Se o seu foco é transcrição de conversa espontânea, com múltiplos falantes e interrupções, o ditado ortográfico sozinho não basta. Nesse caso, complementem com tests em condições reais — gravações de campo, dados de produção, ou simulações deruído com conjuntos como LibriSpeech ou Common Voice. O ditado ortográfico é uma ferramenta diagnóstica, não uma medida definitiva de desempenho. Eu também não recomendo usá-lo para comparar sistemas de diferentes fornecedores sem padronizar o pré-processamento. Um sistema que faz normalização agressiva de números e outro que não faz vão ter WERs incomparáveis no mesmo ditado. Antes de comparar, alinhem as regras de normalização entre os sistemas. Se precisar de algo mais específico — regras de normalização detalhadas para português, scripts prontos de comparação, ou sugestões de corpus alternativos —, é só pedir nos comentários. Eu mantêm uma versão atualizada das minhas regras no repositório vinculado ao kit de download acima.