Variação Social Ou Diastrática

O que você provavelmente não está percebendo nos seus dados linguísticos

A maioria dos projetos de NLP falha porque a variação social ou diastrática é ignorada até a fase de produção. Eu vi um modelo de classificação de sentimento performar com 94% de acurácia no dataset de treino e cair para 67% quando exposto a textos de usuários reais. O problema não era o algoritmo. Era que o modelo tinha sido treinado majoritariamente com português padrão formal e não generalizava para registros informais, jargões de nichos específicos ou variações etárias. O conceito em si é simples. Variação diastrática refere-se às mudanças na língua que ocorrem conforme o nível sociocultural, escolaridade ou faixa etária do falante. Diferente da variação dialetal, que é geográfica, ou diacrônica, que é temporal, essa variação corta a sociedade em camadas. Um médico falando com outro médico usa um registro técnico. O mesmo médico conversando com um familiar usa um registro coloquial. Dois textos sobre a mesma doença, dois registros diferentes. Quem não leva isso em conta na construção de corpora ou na avaliação de modelos está basicamente testando em um ambiente que não existe fora do laboratório.

variação social ou diastrática na prática: como isolar o ruído

No meu caso, o problema surgiu ao treinar um classificador para triagem automática de reclamações em uma plataforma de saúde. O dataset original vinha de fóruns médicos e documentos institucionais. Quando o sistema foi colocar para produzir, começou a classificar erroneamente reclamações de pacientes mais velhos como neutras, enquanto interpretava a linguagem direta de jovens como agressiva. A divergência era diastrática. A solução não foi coletar mais dados. Foi segmentar o corpus por variáveis sociais observáveis e treinar submodelos específicos, depois fundir as saídas com um baseado no perfil detectado do usuário. Isso reduziu o erro de classificação em cerca de 28% e cortou o tempo de refino pós-produção de horas para minutos. A pegadinha que os tutoriais não mencionam é que a marcação dessa variação exige um cuidado enorme. Se você usar apenas uma tag genérica como "informal", seu pipeline vai confundir um slang de adolescente com o vocabulário técnico de um advogado. A abordagem que funciona é criar uma matriz de eixos: escolaridade (até 4 anos, ensino médio, superior), idade (jovem, adulto, idoso), e contexto de produção (redenção profissional, comunicação interpessoal, conteúdo generated by user). Isso aumenta o esforço de anotação em cerca de 40%, mas elimina a maior fonte de falso positivo em sistemas de production. Há uma limitação que é difícil de esconder. Esse tipo de segmentação pressupõe que você tem acesso a metadados sociais dos usuários, o que na maioria dos serviços brasileiros é inviável por questões de LGPD e também de fato. Sem esses dados, a única saída é treinar um detector de registro como uma etapa preliminar, usando features como densidade de gírias, complexidade sintática e frequência de marcadores discursivos típicos de cada camada. A precisão desse detector costuma ficar entre 72% e 81%, o que significa que você estará lida com um erro introdutório que se propaga para todo o resto da pipeline. Se o downstream for uma decisão crítica, como liberação de crédito ou diagnóstico assistido, esse ruído pode ser inaceitável. Nesse cenário, a alternativa mais segura é limitar o escopo do modelo a um registro específico e aceitar que ele não vai cobrir toda a população.

Se você estiver construindo algo que precisa lidar com português brasileiro de forma realista, o primeiro passo não é escolher o modelo. É mapear quais registros sociais estão presentes no seu domínio e documentar explicitamente onde a variação diastrática será tratada e onde ela será ignorada. Esconder isso atrás de métricas agregadas só cria uma falsa sensação de robustez.