Convite - Estudo Sobre Comportamento Diferencial De Itens 2º/ 2025

Como lidar com DIF na prática, não só na teoria

A maioria dos analistas que chega no estudo de comportamento diferencial de itens (DIF) começa com a planilha já montada e acha que o trabalho é rodar um modelo e verificar os valores-p. Na real, o processo inteiro costuma levar entre 3 e 5 dias úteis para uma prova de 60 itens, dependendo da qualidade dos dados e do software. Eu levei seis meses pra entender que a parte mais chata não era o cálculo, e sim a limpeza dos dados antes de qualquer coisa. O convite - estudo sobre comportamento diferencial de itens 2º/ 2025 acabou reforçando um ponto que eu já sabia mas ainda vejo gente ignorando: analisar DIF sem antes verificar a invariancia fatoral é, na maior parte das vezes, perda de tempo. Se o construto que você está tentando medir não se estrutura da mesma forma em todos os grupos, qualquer procedimento de DIF que você aplicar vai detectar coisas que não são DIF real, e sim artefato de má especificação do modelo.

O que é comportamento diferencial de itens e por que ele importa mesmo quando você não quer que importe

DIF acontece quando dois respondentes com o mesmo nível de traço latente têm probabilidades diferentes de acertar um item, mas pertencem a grupos diferentes (gênero, escola, região, cor da pele etc). O conceito é simples. A execução não é. Existem basicamente dois caminhos metodológicos que eu uso no dia a dia. O primeiro é o método de Mantel-Haenszel, que é rápido, consistente e funciona bem como triagem inicial. Ele agrupa os respondentes por escore total e compara odds ratios entre grupos. O segundo é a abordagem baseada em IRT, usando modelos como o logistic de 2 ou 3 parâmetros, com teste chi-quadrado para diferenciais de discriminação e dificuldade. Eu recomendo usar os dois em conjunto, porque cada um detecta tipos diferentes de problema. O que muita gente não entende é que DIF não é uma propriedade absoluta do item. Depende do grupo de referência, do construto, e às vezes até da amostra. Um item pode mostrar DIF significativo em uma análise e desaparecer completamente quando você muda a covariável de controle ou a população alvo.

Como eu rodo essa análise sem perder a sanidade

Eu começo sempre com uma limpeza criteriosa. Itens com zero variância, respondentes com padronização extrema (z fora de [-4, 4]) e provas com tempo de realização extremamente curto (

30% da média da amostra) são removidos antes de qualquer cálculo. Se você pular isso, o DIF vai aparecer onde não existe porque o ruído está distorcendo a estimação. Depois eu ajusto um modelo IRT de 2 parâmetros com a variável de grupo como efeito fixo. No R, o pacote mirt faz isso em poucas linhas. A análise de DIF em si roda com a função DIF(), que gera estatísticas de diferença nos parâmetros de dificuldade e discriminação. Para o Mantel-Haenszel, o pacote eRm ou LTA entregam o resultado rapidamente. O limiar que eu adoto é o seguinte: itens com diferença de dificuldade > 0,5 logits e/ou diferença de discriminação > 0,10 são revisitados. Isso não significa exclusão automática. Significa que o item precisa de exame qualitativo.

Um problema real que eu encontrei e como resolvi

Em uma análise de prova estadual com cerca de 80 mil candidatos, o DIF apontou seis itens com diferença significativa entre respondentes brancos e negros. A primeira leitura foi alarmante. Os itens pareciam neutros. Não havia linguagem carregada, nem contexto cultural tendencioso. O problema real era muito mais banal: a variável de controle (seções de Rasch) estava mal construída porque incluíamos itens com DIF prévio no escore de controle, criando um viés circular. O escore total acabava sendo inflado artificialmente para um dos grupos. A solução foi refazer a calibração dos itens removendo todos que tinham DIF documentado em edições anteriores da prova, ajustar o escore de controle com base apenas nos itens invariantes, e só então rodar a análise de DIF novamente. Cinco dos seis itens eliminaram o sinal. O sexto permaneceu, mas com magnitude abaixo do limiar prático. Esse procedimento dobrou o tempo de análise, mas Evitou rejeitar itens que não deveriam ser rejeitados.

Limitações que ninguém gosta de admitir

O DIF tem três falhas estruturais importantes. A primeira é que ele assume unidimensionalidade. Se a prova mede mais de um construto, o DIF detectado pode ser apenas a manifestação de multidimensionalidade não modelada. A segunda é que ele é sensível ao tamanho da amostra. Com N > 50 mil, diferenças extremamente pequenas, mas estatisticamente significativas, aparecem como DIF. Isso não significa que o item seja problemático na prática. A terceira é que o DIF não informa a direção causal do viés. Ele diz que há diferença, mas não explica por quê. Quando a amostra é muito pequena (menos de 2.000 respondentes por grupo), os resultados de Mantel-Haenszel ficam instáveis. Nesse caso, eu prefiro abandonar a análise clássica de DIF e focar em análise de invariância mensural por meio de CFA multigrupo. O custo computacional é maior, mas a inferência é mais confiável.

O que fazer quando o DIF aparece mesmo após todo o cuidado

Não existe consenso absoluto sobre exclusão de itens com DIF. Alguns bancos públicos removem automaticamente qualquer item com DIF significativo. Outros adotam a abordagem de classificação por magnitude: DIF A (grande), B (moderado), C (pequeno), e mantêm os de categoria C. Eu sigo essa última classificação porque a remoção indiscriminada tende a reduzir a precisão da prova de forma desigual entre grupos, o que pode ser pior do que o DIF em si. A recomendação prática que eu deixo, depois de anos lidando com isso, é simples: trate o DIF como um sinal de alerta, não como uma sentença. Verifique a qualidade dos dados. Reajuste a variável de controle. Use múltiplos métodos. E nunca, jamais, apresente resultados de DIF sem primeiro ter confirmado a invariância fatoral básica.