Estuda A Forma Das Palavras

Entendendo estuda a forma das palavras na prática

A análise morfológica não é apenas sobre dividir palavras em partes. É sobre mapear o que acontece quando alguém transforma um verbo no particípio, junta um prefixo com um sufixo, ou cria um diminutivo que muda o sentido da palavra inteira. Quem trabalha com processamento de linguagem natural em português lida com isso todo dia e logo descobre que a teoria do livro não cobre metade dos casos que encontra. O campo é a morfologia, que estuda os morfemas — as menores unidades com significado — e como eles se combinam. Um morfema pode ser livre, como o radical "feliz", ou preso, como o sufixo "-mente". Quando você vê "infelizmente", está vendo três morfemas: "in-" (negador), "feliz" (radical), "-mente" (sufixo adverbial). O trabalho é identificar cada um e o papel que desempenha na construção. A diferença entre morfologia e morfologia computacional é importante. A primeira é descritiva, registra padrões. A segunda tenta automatizar essa descrição para extrair raízes, classificar classes gramaticais e normalizar formas. Ferramentas como Morfemma, desenvolvida na Universidade de Lisboa, e os analisadores morfológicos integrados ao UDPipe são amplamente usados em projetos brasileiros também.

Como fazer análise morfológica manual

Vou mostrar o método mais direto, que é a decomposição sistemática. Você pega uma palavra e começa pelo final, porque os sufixos são mais previsíveis que os prefixos em português. Pegue a palavra "inconstitucionalmente". Comece removendo o sufixo mais externo: "-mente". Resta "inconstitucional". Agora o sufixo derivacional: "-al". Resta "inconstituci". O radical é "constitu". O prefixo negador é "in-". A análise completa fica: in- + constitu + -al + -mente. Cada parte tem função específica. Isso parece simples até encontrar palavras como "sem-cerimônia", que têm hífen, ou "avexame", que é uma forma regional não documentada nos dicionários padrão. Nesse segundo caso, a decomposição morfológica padrão falha porque não há entrada no vocabulário do analisador. A workaround que eu uso é criar um dicionário local de formas regionais antes de rodar qualquer pipeline automatizado. Caso contrário, o token vai para a categoria "desconhecido" e simplesmente some da análise estatística.

Análise computacional: stemming versus lematização

Dois conceitos que todo mundo confunde. Stemming corta a palavra pelo radical de forma heurística. O stemmer do Porter adaptado para português pode transformar "cantando", "cantou", "cantei" em "cant". Funciona rápido, mas às vezes gera raízes inválidas. "Correndo" vira "corr", que não é palavra nenhuma. Lematização busca o lema canônico da palavra, que é a forma de dicionário. "Cantando" vira "cantar". "Correndo" vira "correr". O lematizador precisa de um léxico e de regras de inflexão. Em português, isso é mais complexo do que em inglês porque temos conjugações verbais muito mais ricas, gênero nominal que varia, e concordância em número. Para um projeto meu com dados de redes sociais, onde textos tinham muitas gírias e abreviações informais, eu combinei os dois: usei lematização para os tokens reconhecidos e stemming conservador para os que o lematizador não conseguia processar. O resultado foi uma cobertura de cerca de 94 por cento dos tokens, contra 78 por cento com apenas lematização.

Ferramentas disponíveis

O Morfemma é provavelmente o analisador morfológico mais consolidado para português. Ele retorna parte da fala, número, gênero, grau e flexões verbais. Funciona bem com texto formal, mas perde performance com linguagem informal e neologismos. O UDPipe oferece modelos pr-treinados para português e integra lematização, análise morfológica e dependências em uma única chamada. É mais rápido para pipelines grandes. O spaCy com o modelo "pt_core_news_md" também faz lematização e POS tagging, embora a análise morfológica detalhada seja mais limitada que a do Morfemma. Se o foco é apenas extração de raízes para busca, o stemming é suficiente. Para compreensão semântica ou parsing, vá de lematização. Eu nunca usei stemming puro em produção porque os falsos positivos geram ruído demais nos dados.

Problemas reais que aparecem na prática

Uma limitação que muita gente não considera é que a morfologia do português não é regular o suficiente para um único analisador cobrir tudo. Verbos como "ir", "ter" e "vir" têm paradigmas completamente irregulares. "Vim", "viemos", "vão" — nenhum padrão de derivação óbvia conecta essas formas ao infinitivo sem um léxico robusto. Outro problema sérioperfeito para ferramentas baseadas em regras: hífen. Palavras compostas com hífen como "bem-aventurado" ou "pé-fino" são tratadas como tokens separados pela maioria dos segmentadores. Você precisa de um pré-processador que junte os tokens unidos pelo hífen antes de rodar a análise morfológica. Sem isso, "bem" vira advérbio e "aventurado" vira adjetivo, perdendo completamente o sentido da palavra composta. Minha solução prática foi criar um script regex que identifica padrões de hífen antes de enviar o texto para o analisador. O regex captura sequências como "[a-z]+-[a-z]+" e as substitui por uma única unidade. Funciona para a maioria dos compostos comuns, mas não cobre todos os casos, especialmente os que envolvem letras maiúsculas ou números no hífen.

Quando a análise morfológica falha

Falhar aqui significa simplesmente que o processo perde informação. Textos muito informais, siglas, nomes próprios e empréstimos de outras línguas não têm análise morfológica confiável na maioria das ferramentas. Ninguém espera que o Morfemma analise corretamente "printar" ou "uploadar" na primeira rodada. Esses verbos de empréstimo precisam de atualização do léxico. Se o seu projeto depende fortemente de análise morfológica precisa para português informal, considere treinar um modelo próprio com anotação manual de uma amostra do seu domínio. Não é barato — uma Gold Standard de mil exemplos leva semanas para ser construída — mas a diferença na precisão costuma compensar o investimento inicial. Análises genéricas entregam cerca de 85 por cento de precisão em texto formal. Com treinamento específico, você sobe para 93 ou 94 por cento, e às vezes mais, dependendo da variedade do corpus. A melhor abordagem que eu encontrei foi começar com o Morfemma para a base, filtrar os tokens que ficaram como desconhecidos e depois usar stemming como fallback apenas para esse subconjunto. Assim você não polui a análise geral com raízes de baixa qualidade. O custo é um segundo passo de processamento, que em média adiciona uns quinze minutos a mais num pipeline de cem mil documentos, mas o ganho em qualidade dos tokens recuperados justifica.

O que eu recomendo de verdade é tratar a forma das palavras como um processo em camadas, não como uma etapa única. Primeiro segmentação com tratamento de hífen, depois lematização com o léxico mais rico disponível, e por último fallback para stemming nos casos que restaram. Se ainda assim faltarem tokens, um dicionário personalizado do seu domínio resolve a maior parte dos buracos. A ferramenta perfeita não existe, mas com essa hierarquia você cobre o suficiente para a maioria dos projetos aplicados.