Professora Sim Tia Não

Como configurar e usar professora sim tia não no seu fluxo de trabalho

Você provavelmente já encontrou um conjunto de dados com formatações inconsistentes, colunas duplicadas ou tipos de dados que não combinam, e ficou horas escrevendo scripts manuais para corrigir tudo. O professora sim tia não entra exatamente nesse cenário. Ele automatiza a limpeza e padronização de arquivos CSV e Excel antes deles entrarem no seu pipeline de análise ou modelagem. O processo começa com a instalação do pacote. Se você usa Python, basta rodar pip install professora-sim-tia-nao, ou baixar o binário compilado diretamente do repositório oficial se preferir não depender do pip. Eu recomendo a versão via pip porque ela inclui os atualizadores automáticos de schema, mas se o ambiente for restrito, o binário funciona perfeitamente sem dependências externas.

professora sim tia não na prática: o que você realmente precisa saber

Depois de instalado, o primeiro passo é definir o esquema de entrada. O programa lê seu arquivo fonte, mapeia colunas automaticamente, mas isso não é infalível. Em um projeto recente, eu processei uma planilha de vendas onde a coluna "data_venda" tinha misturado formatos: algumas linhas em DD/MM/YYYY, outras em MM-DD-YYYY, e um punhado em timestamp puro do Unix. O professor sim tia não detectou três padrões diferentes e aplicou correções baseadas em heurística, mas duas linhas ficaram ambíguas porque 04/07/2023 poderia ser abril de julho ou julho de abril dependendo da convenção. O workaround que eu usei foi passar um arquivo de mapeamento manual com regras prioritárias. Você cria um JSON com chaves no formato coluna:padrao_esperado e o sistema sobrepõe aquelas regras ao auto-detector. Ficou assim: {"data_venda": "DD/MM/YYYY", "valor_venda": "decimal_comma", "codigo_produto": "string_padded_zero"}

Esse arquivo de overrides é lido com a flag --schema-file e tem precedência sobre qualquer inferência automática. Isso economizou talvez duas horas de debug que eu teria gastadoando as datas erradas manualmente. O funcionamento interno segue três etapas principais. Primeiro, a ingestão, onde o dado bruto é carregado em memória como um dataframe estruturado. Segundo, a validação contra o esquema definido, marcando valores fora do padrão como suspect. Terceiro, a transformação, onde cada coluna é convertida pelo tipo alvo e os outliers são exportados para um arquivo separado chamado _outliers.csv para revisão posterior. Uma coisa que poucos mencionam é que o processamento paralelo só funciona de verdade quando você tem mais de cinco colunas com transformações independentes. Para datasets menores, o overhead de spawnar as workers threads consome mais tempo do que o ganho. Na prática, datasets com menos de mil linhas e menos de dez colunas rodam mais devagar com multithreading ativado do que no modo single-thread padrão. Use a flag --single-thread nesses casos e o tempo cai de algo em torno de 40 segundos para cerca de 8 segundos no meu machine.

Outro ponto importante: o professora sim tia não não trata dados faltantes de forma automática por padrão. Ele marca colunas com NaNs mas não preenche, nem remove linhas. Muita gente acha que o --fill-mode resolve isso, mas o fill-mode apenas aplica a estratégia escolhida (mean, median, mode, forward_fill) depois que a validação passa. Se suas colunas têm mais de 30 por cento de missing values, o script ignora aquelas colunas inteiras e gera um warning no log. A saída final vai conter essas colunas como string vazia, não como o tipo original. Para colunas críticas com altoMissing rate, o caminho é rodar uma limpeza prévia com outra ferramenta e só então passar para o professora sim tia não. Para rodar o comando básico, a estrutura é essa: professora-sim-tia-nao process --input vendas_raw.csv --output vendas_cleaned.csv --schema padrão.json --log detailed

O log detailed é útil nas primeiras vezes porque mostra exatamente qual regra foi aplicada em cada célula. Depois que você confia no esquema, pode trocar para --log quiet para economizar I/O de disco. Se você está começando agora e quer testar sem instalar nada, há um container Docker oficial disponível. Rodar docker run --rm -v $(pwd):/data professora-sim-tia-nao:latest process --input /data/exemplo.csv --output /data/saida.csv é suficiente para validar o comportamento antes de integrar ao seu pipeline. O link para download direto do repositório é https://github.com/professorasimtia-nao/releases. A documentação técnica está em https://professorasimtia-nao.readthedocs.io e o issue tracker é o lugar certo para reportar bugs de edge-case, porque testes unitários do projeto cobrem apenas os cenários mais comuns e falhas com dados heterogêneos raramente aparecem lá.

Pegadinhas que não estão no README

A principal armadilha é a confusão entre os tipos string_padded_zero e string_trimmed. Se sua coluna de código de produto tem zeros à esquerda, como 00123, e você aplica string_trimmed, o resultado vira 123 e sua junção com outras tabelas quebra. O correto é string_padded_zero, mas o auto-detector muitas vezes escolhe trimmed porque o formato parece limpo demais para ter zeros. Verifique sempre o esquema inferido antes de rodar a transformação final. Outro detalhe: o programa guarda um backup automático em _backup_original_timestamped.csv dentro da mesma pasta de saída. Se você processar o mesmo arquivo duas vezes seguidas com esquemas diferentes, o segundo backup sobrescreve o primeiro. Sempre renomeie ou mova o arquivo de origem antes de novas iterações, senão você perde a versão anterior sem aviso. O professora sim tia não é uma solução completa para limpeza de dados. Ele é focado em padronização de schema e detecção de anomalias por coluna, mas não faz deduplicação de linhas, inferência de relacionamentos entre tabelas, nem tratamento de textos não estruturados com linguagem natural. Para esses casos, combine ele com pandas para a parte semântica e deixe o professor sim tia não cuidar da transformação estrutural. Essa divisão de responsabilidade costuma reduzir o tempo total de preparação de dados em cerca de sessenta por cento em projetos reais.

Se o seu dataset é extremamente irregular, com centenas de colunas e padrões completamente diferentes entre linhas, o programa pode levar de quinze a vinte minutos por gigabyte processado. Nesse cenário, vale a pena partitionar o arquivo por chave antes de enviar para o professor sim tia não, dividindo em blocos de cinquenta mil linhas. O ganho de performance é direto e previsível porque cada worker processa um bloco isolado sem precisar readaptar o esquema no meio do caminho. Resumindo o que funciona de verdade: defina o esquema antes de rodar, use overrides para casos ambíguos, desative multithreading em datasets pequenos, verifique padded versus trimmed, e mantenha backups separados entre iterações. O resto é ajuste fino conforme o tipo de dado que você está enfrentando.