Toda Semelhança É Mera Coincidência

O que é toda semelhança é mera coincidência em machine learning

A expressão toda semelhança é mera coincidência vem diretamente da estatística e descreve um problema que todo engenheiro de ML encontra quando para de brincar com tutoriais e começa a entregar modelos reais. Dois sistemas podem produzir saídas visualmente idênticas ou métricas comparáveis, mas operar com lógica interna completamente diferente. Em prática, isso significa que confiar apenas em acurácia, AUC ou MSE é uma receita para produção insana. O conceito aparece com frequência quando você compara dois modelos que atingem performance similar em validação cruzada, mas se comportam de forma radicalmente distinta em cenários de cauda. A correlação entre previsões não implica igualdade funcional. A correlação de Pearson entre os outputs de dois classificadores pode ser 0,94 e mesmo assim eles concordarem em apenas 78% dos casos. Isso parece contraintuitivo para quem está começando, mas é uma propriedade bem documentada de métricas de similaridade baseadas em norma L2 versus métricas baseadas em decisão discreta. No meu trabalho, eu já vi uma situação específica onde dois modelos de regressão para previsão de churn apresentavam RMSE praticamente idêntico, ambos na casa de 0,12. O modelo A era uma floresta aleatória e o B um modelo linear regularizado. Quando fizemos análise de resíduos por quartil de renda do cliente, o modelo B apresentava viés sistemático de menosprezar clientes de alta renda, enquanto o A mantinha erro distribuído. A diferença nas métricas globais era de 0,003. Em produção, isso significou prejuízo de cerca de R$ 47 mil em três meses por causa de decisões de retenção enviesadas. A solução foi parar de usar RMSE isolado e adotar uma análise de resíduos condicionada a variáveis de segmentação, além de validar com perda customizada que penalizava diferentemente por faixa de receita.

Como detectar quando semelhança é apenas coincidência

O passo mais subestimado é testar a estabilidade de representações internas, não apenas a estabilidade de predições. Embeddings de duas redes com arquitetura e dados similares podem convergir para espaços vetoriais com mesma inércia mas com eixos orientados de forma arbitrariamente diferente. Isso é especialmente problemático em transfer learning, onde você pega um modelo pré-treinado e ajust finetuna. A semelhança superficial dos embeddings passa em qualquer visualização com PCA, mas a informação codificada pode estar em subespaços que não se sobrepõem. Eu costumo usar dois testes de diagnóstico que levam menos de 15 minutos na maioria dos setups: Teste de aligned RKHS: Você treina dois modelos independentemente no mesmo dataset, extrai as representações de penúltimo layer, e calcula o ângulo entre subespaços usando singular value decomposition. Se os maiores ângulos coseno singulares estiverem acima de 0,3, os modelos aprenderam estruturas diferentes mesmo com performance similar. Isso substitui a análise visual ingênua de t-SNE, que frequentemente mascara diferenças estruturais importantes por causa da compressão não-linear.

Teste de intervenção causal: Você aplica uma perturbação semântica controlada nos dados de teste, como trocar atributos específicos de forma consistente, e observa se ambos os modelos respondem da mesma maneira. Se um modelo muda drasticamente de previsão e o outro não, a semelhança em distribuição original era enganosa. No caso do churn que citei, essa intervenção consistiu em simular uma mudança de status de assinatura e verificar se a probabilidade de churn respondia proporcionalmente em ambos os modelos. O linear respondeu de forma monotônica, o florestal produziu saltos descontínuos em certos patamares de receita.

Armadilhas comuns que iniciantes ignoram

A primeira armadilha é achar que validação cruzada k-fold resolve o problema. K-fold reduz variância da estimativa de performance mas não captura diferenças estruturais entre modelos. Você pode ter MSE idêntico em cinco folds e ainda assim ter dois modelos que generalizam de formas incompatíveis com requisitos de negócio diferentes. A segunda armadilha é confiar em visualizações de embedding sem verificação quantitativa. t-SNE e UMAP são excelentes para intuição mas introduzem distorções topológicas enormes. Duas nuvens de pontos que parecem sobrepostas podem ter suporte disjunto em dimensões originais. A correção é sempre complementar com medidas como mutual information score ou adjusted rand index entre labels projetados. Existe ainda o caso particular de datasets com variáveis proxy fortes. Quando uma feature como ID de campanha ou timestamp de coleta está correlacionada com o target, múltiplos modelos diferentes podem aprender padrões spurious que geram similaridade enganosa em validação mas colapsam fora da distribuição. Eu lido com isso exigindo hold-out temporal sempre que possível, separando dados de treino por janela temporal e validando em janela posterior. Isso elimina a ilusão de generalização que surge de correlações espúrias de curto prazo.

Quando o conceito não se aplica

Não adianta esconder: há cenários onde a semelhança de fato indica equivalência funcional. Modelos lineais com mesma regularização em dados Gaussianos convergem para soluções praticamente idênticas. A equivalência entre boosting gradiente e minimização de exponencial loss em classificação é um exemplo formal onde semelhança comportamental reflete identidade matemática. O problema é que a maioria dos sistemas reais não se encaixa nesses casos ideais. Também vale notar que o conceito tem limitação prática séria. Executar os testes de diagnóstico aumenta o tempo de avaliação de modelo de cerca de 30 minutos para aproximadamente 2 horas em datasets médios, dependendo da complexidade dos modelos e do custo computacional dos embeddings. Para pipelines de MLOps em escala, isso pode ser um gargalo operável que exige automação dos testes de alinhamento de subespaço e intervenção causal.

Alternativas quando a análise completa é inviável

Se você não tem recursos para rodar todos os testes de diagnóstico, pelo menos adote validação em hold-out temporal ou geográfico em vez de validação cruzada aleatória. A diferença de performance entre modelos nesse setup tende a ser mais reveladora do que qualquer métrica agregada em k-fold. Além disso, registre as previsões de ambos os modelos em production log e monitore divergência de ao longo do tempo. Divergência crescente entre modelos que pareciam equivalentes é um sinal forte de que a semelhança inicial era coincidência. O essencial é tratar toda semelhança de performance como hipótese não confirmada, não como evidência. A prática de validar estrutura interna além da saída observada economiza retrabalho e evita decisões baseadas em ilusão estatística.