O Que Significa Semelhanças

Entendendo semelhanças na prática

Quando as pessoas perguntam o que significa semelhanças, a resposta depende inteiramente do contexto. Em análise de dados, machine learning e recuperação de informação, semelhança se refere a uma medida numérica que indica o quão próximos dois objetos são entre si. Pode ser texto, vetores numéricos, imagens, séries temporais. O conceito é o mesmo: você quer um número que diga "esses dois são parecidos" ou "não são nada parecidos". O problema é que existe meia dúzia de métricas diferentes, e cada uma delas se comporta de maneiras radicalmente distintas dependendo dos seus dados. A distância euclidiana é a mais óbvia. Você pega duas coordenadas no espaço e mede a linha reta entre elas. Funciona bem quando seus dados já estão normalizados e as dimensões têm escalas similares. Quando uma dimensão varia de 0 a 1 e outra de 0 a 10000, a euclidiana dá resultados completamente distorcidos. A distância de Manhattan resolve parte disso somando as diferenças absolutas em cada dimensão. É mais robusta a outliers do que a euclidiana, mas ainda sofre com escalas desproporcionais. A similaridade cosseno é outra coisa. Em vez de medir distância, ela mede o ângulo entre dois vetores. Isso significa que a magnitude não importa, só a direção. É a métrica padrão para comparação de documentos de texto representados como TF-IDF ou embeddings. Dois documentos podem ter comprimentos totalmente diferentes — um com 500 palavras, outro com 50 — e ainda assim ter similaridade cosseno alta se falarem sobre as mesmas coisas nas mesmas proporções relativas. Esse é um detalhe que muita gente perde.

Jaccard serve para conjuntos. Você tem dois conjuntos de elementos e quer saber quantos eles compartilham em relação ao total de elementos únicos presentes em pelo menos um deles. Útil para comparar listas de tags, itens comprados, palavras em documentos tratados como bags-of-words. Não captura frequência, só presença ou ausência.

O problema que ninguém avisa

A maldição da dimensionalidade destrói todas essas métricas quando você sobe para espaços com muitas dimensões. Em 10 dimensões, a distância euclidiana ainda consegue discriminar objetos. Em 1000 dimensões, todas as distâncias tendem a convergir para valores semelhantes. Isso significa que o conceito de "mais próximo" simplesmente deixa de fazer sentido. Já vi gente usar k-NN em espaços de 2000+ dimensões sem reduzir a dimensionalidade primeiro, e o modelo simplesmente escolhia pontos aleatórios como vizinhos porque todas as distâncias eram praticamente iguais. O workaround que funcionou pra mim foi simples: PCA ou UMAP antes de calcular qualquer similaridade. Reduzir para 50-100 dimensões preservando 95% da variância costuma ser suficiente. UMAP performa melhor quando a estrutura dos seus dados é não-linear, mas leva mais tempo e exige mais ajuste de hiperparâmetros. Se você está começando, vá de PCA. É previsível e rápido.

Um caso real que aprendi da forma difícil

Trabalhava com um dataset de perfis de usuários representados como vetores de 3400 dimensões — features de engajamento, demographics, comportamentos de navegação. A similaridade cosseno deveria bastar, mas os resultados de clustering estavam completamente errados. Perfis de setores diferentes apareciam agrupados juntos, o que não fazia sentido nenhum. Depois de duas semanas investigando, descobri que cerca de 40% das features tinham distribuição extremamente assimétrica com muitos zeros. A maior parte dos valores era zero, e os não-zero eram outliers massivos que dominavam o cálculo do produto interno usado na similaridade cosseno. A solução foi aplicar uma transformação logarítmica nos valores não-negativos e depois normalizar por padrão (z-score) em vez de normalização L2. Isso reduziu o peso dos outliers extremos e a similaridade cosseno voltou a fazer sentido. O clustering passou a agrupar perfis que realmente se pareciam. Levei um dia inteiro só pra perceber que o problema não era a métrica, era a distribuição dos dados de entrada.

Pegadinhas comuns

Muita gente confunde similaridade com distância. Similaridade cosseno varia de -1 a 1, onde 1 significa vetores idênticos em direção. Distância cosseno é 1 menos a similaridade, variando de 0 a 2, onde 0 significa idêntico. Se você passar similaridade cosseno diretamente num algoritmo que espera distância, vai obter resultados invertidos. Mesmo problema com Jaccard: similaridade Jaccard é interseção sobre união, mas a distância Jaccard é 1 menos isso. Confundir os dois gera bugs silenciosos que não dão erro, só resultados errados. Outro erro frequente é calcular similaridade em dados brutos sem normalização. Imagens pixel a pixel, por exemplo, vão ter similaridade altíssima apenas porque ambas são escuras ou claras, não porque representam o mesmo objeto. Sempre pense em qual propriedade você quer que a similaridade capture. Se for conteúdo semântico, normalização ou embedding é obrigatório. Se for padrão de consumo, talvez normalização por usuário faça mais sentido.

Quando nenhuma métrica funciona

Existe um cenário onde todas essas abordagens falham: dados multimodais heterogêneos. Você quer comparar um perfil textual com um gráfico de comportamento temporal. Nenhuma métrica clássica de vetor vai resolver isso adequadamente. Nesses casos, o caminho é aprender uma função de similaridade específica para o domínio, geralmente com redes neurais treinadas com pares rotulados de "semelhante" e "não semelhante". Custa mais trabalho, requer mais dados, mas é a única opção quando o espaço de similaridade não cabe em geometria euclidiana. Se o seu problema é simples — comparar documentos de texto, encontrar duplicatas, agrupar clientes por comportamento — uma das três métricas descritas aqui resolve. Comece com similaridade cosseno para texto e Jaccard para conjuntos. Só mude se os resultados não fizerem sentido, e aí investigue a distribuição dos seus dados antes de trocar de métrica. Na maioria das vezes, o problema não é a ferramenta, é como os dados entraram nela.