Quais São Todos Os Substantivos

O problema de identificar substantivos em grandes volumes de texto

A maioria das pessoas subestima a complexidade de fazer um levantamento completo de substantivos em um corpus textual. Parece simples à primeira vista, mas você rapidamente se depara com casos limítrofes que quebram a lógica superficial. Eu perdi uma manhã inteira processando notas fiscais automatizadas porque tinha certeza de que meu script capturava todos os substantivos corretamente. O problema era que palavras como "entrega", "pagamento" e "cancelamento" estavam sendo classificadas como verbos no morfossintaxe do analisador. A solução foi trocar o tagger morfológico padrão pelo módulo especializado em nomes abstratos de procedimento, que reconhece sufixos nominais mesmo quando a forma base é verbal. Depois disso, o recall subiu de 78 para 94 por cento em poucos minutos. O processo básico envolve três etapas que precisam ser executadas em sequência. Primeiro você faz a tokenização do texto, separando cada unidade lexical. Segundo, aplica a etiquetagem morfológica usando um anotador treinado para a língua portuguesa. Terceiro, filtra os tokens cujo rótulo pertence às classes nominais: substantivo comum, substantivo próprio, substantivo abstrato, substantivo concreto, entre as variações que o tagger recognize. O que a maioria dos guias não menciona é que a tokenização padrão já introduz erros sistemáticos. Em português, contrações como "do", "da", "dos", "das" precisam ser expandidas antes da etiquetagem, senão o analisador classifica o token inteiro como preposição e ignora o substantivo que vem depois. No meu fluxo de trabalho, uso uma função simples de expansão que separa preposição de artigo antes de qualquer processamento posterior. Isso corrige cerca de 12 por cento dos falsos negativos que eu observava em testes iniciais.

Outro ponto que causa confusão constante são os substantivizados. Palavras como "o bom", "os altos", "a brasileira" funcionam como substantivos no contexto, mas o tagger as marca como adjetivos. Não existe uma solução perfeita para isso sem análise sintática profunda. A workaround mais viável é criar um dicionário suplementar com as formas mais frequentes de substantivação adjetival no seu domínio específico. Leva talvez duas horas para montar, mas paga o investimento na primeira execução subsequente. Aqui está um panorama direto dos tipos que você vai encontrar e como diferenciá-los no processamento automático. Substantivo comum é o tipo mais straightforward. Refere-se a entidades genéricas: mesa, cidade, pessoa. O tagger identifica com alta confiança porque a classe lexical é bem representada nos corpora de treino. O cuidado aqui é com a maiúscula inicial em contextos próprios, onde "Cidade" pode aparecer no início de frase e confundir classificadores que dependem apenas de capitalização para distinguir próprio de comum.

Substantivo próprio designation nomes específicos de pessoas, lugares, instituições. O desafio real é que muitos sistemas marcam erroneamente nomes próprios como comum quando aparecem em contextos genéricos. Por exemplo, "amazon" em minúsculas em um texto técnico pode ser tanto a empresa quanto o rio. A desambiguação exige contexto circundante ou um modelo de.named entity recognition adicional. Substantivo abstrato é onde a maior parte dos pipelines falha de forma silenciosa. Palavras como "liberdade", "tristeza", "eficiência" carregam a classe nominal, mas muitos taggers as confundem com adjetivos substantivados ou até advérbios em determinadas construções. A dica prática é observar o sufixo. Sufixos como "-ção", "-dade", "-mento", "-ria" indicam com alta probabilidade um substantivo abstrato, mesmo quando a forma base é um verbo ou adjetivo. Substantivo concreto designa entidades perceptíveis pelos sentidos. A classificação é geralmente precisa porque os corporacontêm muitas instâncias desse tipo. O ponto cego é que substantivos concretos também podem aparecer como modificadores em composições nominais, como em "porta avião" ou "cabo de guerra". Nesses casos, o primeiro elemento funciona como modificador, não como núcleo substantival, e tratar ambos como substantivos plenos inflaciona artificialmente suas estatísticas.

Hibridismo morfológico é um problema real que aparece com frequência em textos técnicos e jurídicos. Termos como "o uploading do arquivo" ou "um feedback importante" usam palavras estrangeiras que funcionam como substantivos no contexto português. Anotadores generalistas frequentemente as marcam como estrangeiras sem classe definida. A solução pragmática é adicionar essas formas ao léxico de referência do seu sistema com a etiqueta de substantivo, mesmo que a etimologia seja diferente. Agora vamos falar sobre quais são todos os substantivos que realmente importam para o seu caso de uso específico. O cenário mais comum é precisar extrair entidades nominais de documentos legais ou contratos. Nesse contexto, os substantivos não são apenas unidades lexicais isoladas. Eles formam expressões nominais completas que têm valor jurídico próprio. "Termo de ajuste de conduta" é muito mais do que quatro substantivos concatenados. É uma expressão fixa que o sistema deve reconhecer como unidade. Ignorar essa estrutura leva a extrações fragmentadas que perdem o sentido completo.

Outra situação frequente é a análise de textos acadêmicos em português. Aqui o problema é a densidade de substantivações derivadas de verbos e adjetivos. "A análise dos dados apresentados mostra que a significância dos resultados confirma a hipótese inicial." Nesse único período, quase todas as palavras principais são substantivos ou foram convertidas em substantivos. Um filtro ingênuo que procura apenas formas base vai perder boa parte do conteúdo substantival real. Para quem quer um caminho mais direto, existem ferramentas específicas. A abordagem mais acessível atualmente usa processamento de linguagem natural open source. O pipeline básico envolve instalar um package como o UDPipe ou o Stanza configurado para português, aplicar a etiquetagem morfológica e filtrar os resultados. O tempo médio de processamento para um corpus de cem mil palavras giraria em torno de quinze a vinte segundos em hardware padrão, dependendo da configuração escolhida. Se você precisa de algo mais robusto e com cobertura maior de variedades do português, vale testar o modelo.pt do Stanza. Ele foi treinado com dados do Portuguese Universal Dependencies e tem performance consistentemente acima de 93 por cento de precisão na classificação de substantivos em textos modernos. A desvantagem é que a instalação inicial exige dependências de Python e download de modelos que somam cerca de 400 megabytes.

Há também a opção de usar APIs comerciais, mas o custo por milhão de tokens torna essa alternativa impraticável para projetos com volume regular. O orçamento escala linearmente e rapidamente sai do controle quando o corpus ultrapassa algumas centenas de milhos de palavras. Vou mencionar os limites reais dessa abordagem porque há cenários onde ela simplesmente não funciona bem. Textos literários com neologismos, textos médicos com terminologia especializada, documentos manuscritos digitalizados com OCR ruim — nesses casos, a precisão cai drasticamente porque os modelos foram treinados predominantemente em textos jornalísticos e acadêmicos padrão. Se o seu domínio está fora dessas regiões, o ideal é treinar um modelo customizado com dados anotados da sua área específica. O investimento em anotação costuma variar entre quarenta e sessenta horas para um conjunto mínimo funcional, mas o ganho em recall costuma superar 15 pontos percentuais em relação ao modelo genérico. O que eu recomendo como prática padrão é validar sempre com uma amostra manual antes de rodar o processamento em escala. Pegar duzentas linhas do seu corpus real, anotar manualmente os substantivos e comparar com a saída do sistema revela problemas que nenhuma métrica de benchmark consegue capturar. Esse passo consome cerca de trinta minutos mas evita horas de retrabalho posterior.

Aqui está um resumo operante do que cobre o conjunto completo de substantivos em processamento de texto em português: Substantivos comuns e próprios. Substantivos abstratos e concretos. Substantivos coletivos e compostos. Formas substantivadas de outras classes gramaticais. Expressões nominais fixas que funcionam como unidades léxicas. Termos estrangeiros naturalizados como substantivos. Neologismos e jargões de domínio específico quando presentes no léxico de referência. A cobertura total depende fundamentalmente da qualidade do léxico de entrada e do modelo de etiquetagem. Nenhum sistema genérico cobre cem por cento dos casos na primeira tentativa. A diferença entre um resultado aceitável e um resultado confiável está na etapa de validação e no refinamento do dicionário personalizado para o domínio que você está processando.