O Que É Palavra Intrusa

O que é e por que aparece no seu processamento de texto

Palavra intrusa é aquele token que entra num corpus, dataset ou pipeline de NLP sem motivo aparente e começa a distorcer os resultados. Pode ser um stopwords remanescente, um termo que o separador morfossintático não reconheceu, ou algo que simplesmente não deveria existir ali. A definição técnica é simples, mas a execução costuma ser problemática. Eu já passei horas investigando por que um classificador binário tinha F1-score abaixo de 0.6 e descobri que palavras como "que", "o", "a" estavam fugindo do filtro de stopword porque o dicionário usado não cobria todas as formas flexionadas. Aí você tem uma palavra intrusa operando silenciosamente.

o que é palavra intrusa no contexto de processamento de linguagem

Em linhas gerais, trata-se de um token presente num texto ou corpus que compromete a análise downstream — seja na extração de features, na construção de embedding, ou na classificação. Ela se encaixa em três categorias principais: Stopwords remanescentes: palavras funcionais que deveriam ter sido removidas mas não foram por falha no dicionário ou na regra de filtro. Termos de ruído: caracteres soltos, abreviações sem sentido, nomes próprios irrelevantes, ou ruído de OCR que escapa aos filtros iniciais.

Intrusos estruturais: tokens que surgem de problemas de tokenização — hífen quebrado, pontuação colada a palavra, números com sufixos — e passam despercebidos pelo pré-processamento. O problema real é que palavra intrusa raramente aparece gritando. Geralmente ela se esgueira e só você nota quando os resultados começam a ficar inconsistentes. Um term frequency que sobe artificialmente, um word2vec treinado com ruído gerando similaridades estranhas entre palavras que não têm nada a ver uma com a outra — isso costuma ser sinal.

como identificar e remover

A abordagem prática que eu uso funciona assim: primeiro você extrai todos os tokens únicos do corpus e faz uma triagem por frequência. Termos com presença extremamente alta (mais de 30% dos documentos) e extremamente baixa (1-2 ocorrências em milhares de documentos) são os primeiros suspeitos. Depois eu aplico um filtro em camadas. Camada 1: stopword list atualizada, com cobertura de variantes morfológicas. Camada 2: regex para padrões de ruído — e-mails, URLs, CPFs, datas formatadas de forma inconsistente. Camada 3: análise manual de amostra dos tokens restantes com frequência intermediária, que é onde as intrusas mais traiçoeiras se escondem. No meu caso, tive um problema específico com um dataset de reviews em português onde a palavra intrusa era o caractere "ª" colado a substantivos femininos — "direitoª", "vencedoraª". O tokenizador separava o sufixo como parte do lexema, e isso criava milhares de variantes sintéticas que inflavam a dimensionalidade da matriz term-document. A solução foi aplicar uma normalização morfológica antes da tokenização, usando a biblioteca `morphy` do PTB (Portuguese Toolbox) para separar os afixos inflectionais dos radicais. Isso reduziu a cardinalidade do vocabulário em cerca de 18% e o tempo de treinamento do modelo caiu de 45 minutos para 12.

Outro ponto que pouca gente menciona: filtros de stopword baseados em dicionário estático são insuficientes para português. A língua tem flexão de gênero, número e pessoa que gera centenas de formas que um dicionário genérico não cobre. Use stems e lemas, não tokens brutos. Ferramentas como o `PortugueseStemmer` do NLTK ou o `spaCy` com o pipeline `pt_core_news_sm` dão resultado muito mais limpo que um `stopwords.words('portuguese')` tradicional.

limitações que ninguém conta

Remover palavra intrusa tem um custo que muitas vezes passa despercebido. Quanto mais agressivo o filtro, mais signal útil você pode estar cortando junto. Em domínios específicos como direito ou medicina, termos que parecem ruído para um filtro genérico são na verdade features discriminativas importantes. Já vi pipelines que removeram "art." como stopword e depois se perguntaram por que o classificador de documentos jurídicos tinha performance pior que aleatório. Outra limitação prática: a detecção automática de intrusas ainda depende muito de conhecimento de domínio. Nenhuma heurística geral resolve tudo. O que funciona para um corpus de notícias não funciona para um corpus de tweets, e vice-versa. O ideal é sempre validar com uma amostra humana antes de aplicar o filtro no dataset inteiro. Se o seu objetivo é apenas limpar texto para visualização ou pesquisa simples, um filtro básico com stopword list + regex já resolve a maior parte dos casos. Se o objetivo é modelagem preditiva ou embeddings, vale a pena investir no pipeline de normalização morfológica. A diferença de qualidade entre os dois approches costuma ser visível já na primeira rodada de validação cruzada.