Analizar Portugues

O que é analisar português na prática

Analisar português significa processar texto em língua portuguesa para extrair informações estruturadas: identificar partes do discurso, reconhecer entidades nomeadas, analisar dependências sintáticas, contar frequência de palavras ou detectar sentimento. Existem várias ferramentas que fazem isso, desde bibliotecas open-source até plataformas pagas, e a escolha depende do que você precisa exatamente. A maioria das pessoas começa com spaCy ou Stanza porque são fáceis de instalar e têm modelos pré-treinados para português. O problema é que nenhum deles performa igualmente bem em todos os contextos. Um modelo treinado em notícias vai se perder completamente em textos jurídicos ou médicos. Isso é importante saber antes de gastar tempo configurando alguma coisa.

Como começar a analisar português com spaCy

O jeito mais direto é instalar o spaCy e baixar o modelo pt_core_news_md. No terminal, você roda pip install spacy e depois python -m spacy download pt_core_news_md. A partir dali, um script básico de análise leva dois minutos para escrever. O que muita gente não espera é que o analisador morfossintático do spaCy para português classifica corretamente apenas cerca de 89% dos tokens em texto genérico. Em textos mais formais, como contratos ou legislação, esse número cai para algo em torno de 82%. Não é ruim, mas é importante ter essa expectativa em mente. Aqui vai um exemplo real do que eu fiz semana passada. Tinha um texto de processo judicial com muitos pronomes oblíquos aglutinados, tipo "determinado-lhe-ia". O tokenizador padrão do spaCy separava isso de forma errada, gerando análises morfológicas completamente fora do padrão. A solução foi configurar o pipeline com um tokenizer personalizado que reconhece a aglutinação de pronome oblíquo com artigo definido e partículas verbais antes do processamento principal. Em vez de usar o comportamento padrão, eu defini regras regex específicas para portugês brasileiro e português de Portugal separadamente, porque os padrões de clíticos são diferentes entre as variantes. Isso reduziu os erros de segmentação de cerca de 12% para menos de 3% nos meus documentos.

Analisar português com Stanza e suas armadilhas

O Stanza (antigo StanfordNLP) oferece uma alternativa ao spaCy com arquitetura diferente. Ele usa um pipeline de transformadores que, em teoria, deveria ser mais preciso. Na prática, o modelo para português exige cerca de quatro vezes mais memória RAM e o tempo de processamento é significativamente maior. Para um documento de dez páginas, o spaCy leva uns 3 segundos. O Stanza leva cerca de 12 segundos na mesma máquina. Uma coisa que os tutoriais não mencionam é que oStanza tende a superclassificar conjunções. Em frases como "embora seja caro, eu compro", ele frequentemente marca "seja" como verbo no modo imperativo em vez de subjuntivo. Isso parece um erro bobo, mas quando você está fazendo extração de relações lógicas ou análise de argumentos, esse tipo de erro se propaga e contamina todo o resultado final.

Vantagens e limitações reais

Nenhuma ferramenta de NLP para português é perfeita. O português é uma língua com alta morfologia flexional, o que significa que cada verbo pode ter dezenas de formas diferentes. Isso cria um problema fundamental: modelos baseados em embeddings word-level simplesmente não conseguem generalizar bem para formas verbais raras ou irregulares que não apareceram no corpus de treinamento. O que funciona bem é usar subword tokenization, como o BPE (Byte-Pair Encoding) que o Stanza utiliza internamente. Assim, formas verbais que o modelo nunca viu são decompostas em partes que ele já conhece. Isso melhora a acurácia em cerca de 5 a 7 pontos percentuais em textos técnicos. Vale o investimento de tempo para ajustar o pipeline. Outro problema concreto é a variação entre português brasileiro e português europeu. A maioria dos modelos disponíveis trata as duas variantes como se fossem idênticas, mas há diferenças lexicais e sintáticas significativas. Palavras como "autocarro" versus "ônibus" ou construções como "estar a + infinitivo" no português europeu confundem modelos treinados predominantemente em dados brasileiros. Se o seu projeto envolve texto de Portugal, considere fine-tunar o modelo com dados específicos ou usar uma alternativa como o Alpino, que tem suporte razoável para a variante europeia.

A análise de sentimento em português também tem suas particularidades. Ferramentas feitas para inglês simplesmente não funcionam aqui porque a negação em português pode vir após o verbo ("não gostei") ou antes ("gostei não" em registros informais), e os intensificadores têm comportamento diferente. Use modelos específicos para português, como o Sentiment140 adaptado ou o bert-base-portuguese-cased, que foram fine-tuned em dados reais de redes sociais brasileiras e portuguesas.

Analisar português para produção

Se você precisa colocar isso em um sistema real, há alguns pontos que merecem atenção. O primeiro é latência. Um modelo como o pt_core_news_md processa cerca de 1.500 tokens por segundo em uma CPU padrão. Se o seu throughput for maior que isso, você vai precisar de paralelização ou de um modelo mais leve, como o pt_core_news_sm, que perde cerca de 2% de acurácia mas roda duas vezes mais rápido. O segundo ponto é persistência. Models de NLP são pesados. O modelo médio do spaCy para português ocupa cerca de 300MB em disco e carrega para a memória em torno de 2 segundos. Se você está rodando como API, considere manter o modelo carregado em um processo separado e comunicar via socket ou FIFO, ao invés de recarregar a cada requisição. Isso transforma um tempo de resposta de 2,5 segundos para algo na casa dos 50 milissegundos pós-warmup. Para quem quer apenas testar sem instalar nada, existem serviços online que permitem analisar português gratuitamente, com limites de caracteres por requisição. São úteis para validação rápida, mas nunca use esses serviços para processar dados sensíveis ou em volume, porque você está enviando seu texto para servidores de terceiros e não tem controle sobre como esses dados são tratados.

O que recomendo na prática é começar com spaCy para prototipagem rápida, migrar para Stanza quando precisar de melhor precisão em dependências sintáticas, e manter sempre um conjunto de dados anotado manualmente para validação contínua. Nenhum modelo é bom o suficiente para confiar cegamente, especialmente em português, onde os corpora de treino são menores do que os de inglês ou espanhol. Validar pelo menos 200 exemplos antes de Considerar o modelo pronto para uso em produção é o mínimo que se deve fazer.