Variacao Linguística

Quando eu comecei a trabalhar com análise de dados linguísticos, não fazia ideia do caos que ia encontrar

Foi num projeto de identificação de falantes por sotação que eu finalmente entendi o quão complexo era o assunto. A minha equipe tinha um dataset de 40.000 amostras de áudio e estávamos tentando treinar um modelo para identificar a região de origem do falante baseado em variáveis fonéticas. O problema começou quando percebemos que o que chamávamos de "variação linguística" não era algo limpo e classificável como queríamos. Um falante do interior de Minas Gerais que morava em São Paulo há 20 anos ainda mantinha traços regionais, mas misturados com características da norma urbana. Outro falante do Rio Grande do Sul apresentava variação estilística tão marcada que uma mesma pessoa produzia versões diferentes dependendo do contexto formal ou informal da fala. Variação linguística é simplesmente o fato de que nenhuma língua funciona de forma homogênea. Cada falante carrega consigo marcas de origem regional, classe social, idade, gênero e contexto situacional. O que muita gente não entende é que essa variação não é aleatória. Ela segue padrões sistemáticos que podem ser mapeados e analisados. Quando um linguista fala em variação, não está falando de "erro" ou "coloquialismo", está descrevendo um repertório de formas que coexistem numa mesma comunidade. A variação diastrática, por exemplo, refere-se às diferenças ligadas a fatores sociais. Um mesmo falante pode usar construções diferentes dependendo do interlocutor e da situação. Isso se chama variação estilstica. Já a variação diafásica trata especificamente dessas mudanças de registro. A variação diatópica, por sua vez, abrange as diferenças geográficas. E temos também a variação diacrônica, que estuda como a língua muda ao longo do tempo.

Pegadinhas que eu aprendi na marra

O maior erro que eu vi acontecer em projetos de processamento de linguagem natural é tentar normalizar a fala antes de analisar a variação. Remove-se sotação, corrigem-se construções informais, e aí o modelo perde justamente as informações mais relevantes. Num projeto meu com dados de WhatsApp, eu tentei aplicar um pré-processamento padrão que remove variação morfológica. O resultado foi um modelo que identificava corretamente o gênero do falante, mas falhava completamente na previsão de faixa etária. Quando voltei a incluir as variantes morfológicas na análise, a acurácia para previsão de idade subiu de 61 para 78 por cento. Outro problema recorrente é assumir que as variantes são independentes. Na realidade, elas se cruzam. Um falante pode apresentar características regionais fortes numa variable específica, mas neutras noutra. Fonecas nasais, por exemplo, variam muito mais em comunidades nordestinas do que em outras, mas essa variação se correlaciona com idade e nível educacional. Ignorar essas interações leva a modelos que superestimam o poder preditivo de variáveis individuais. Também é importante notar que a variação não funciona como um espectro contínuo em todos os casos. Algumas variáveis apresentam variação contínua, onde diferentes formas ocupam posições num gradiente de frequência. Outras são discontinuas, com formas discretas que coexistem sem transição suave entre elas. Confundir esses dois tipos de variação leva a escolhas erradas de metodologia analítica.

O que não funciona e alternativas

Existem cenários onde a abordagem tradicional de análise de variação simplesmente não chega. Quando se trabalha com comunidades linguisticamente muito homogêneas, as variáveis tendem a ter pouca variabilidade, o que torna difícil treinar modelos preditivos confiáveis. Também não adianta muito tentar aplicar técnicas desenvolvidas para variedades claramente demarcadas geograficamente a situações de migração recente, onde a sobreposição de traços é intensa. Em casos de variação em contato linguístico intenso, como em fronteiras ou regiões de imigração recente, às vezes é mais produtivo trabalhar com variáveis sintáticas do que com variáveis fonéticas, já que as primeiras tendem a ser mais resilientes a interferências e mais informativas sobre identidade linguística. A abordagem de variacionais socialmente marcada costuma dar melhores resultados do que a busca por isógonas puras em contextos de diversidade acentuada. Se o objetivo for classificação automática de perfis linguísticos, o mais viável hoje é combinar múltiplas variáveis em modelos de aprendizado de máquina, em vez de depender de análise manual. A variação linguística existe de forma multifatorial, e tentar reduzir tudo a uma única dimensão é praticamente garantir resultados enganosos.