Eficácia Eficiência E Efetividade

O que eu aprendi sobre medição de resultados em gestão pública e corporativa

Achei que entendia a diferença entre eficácia, eficiência e efetividade quando entrei na primeira consultoria que fiz. Tinha lido três capítulos de um livro de administração e achei que estava pronto. Dois anos depois, depois de ter que refazer um diagnóstico inteiro porque cometi o erro clássico de medir o que era fácil em vez de medir o que importava, entendi que ninguém ensina isso direito na prática. Vamos começar pelo método, porque é aí que a maioria estraga tudo. Quando você vai avaliar se um programa ou projeto está funcionando, o primeiro passo é definir a pergunta certa. Não é "estamos entregando resultado?" — essa pergunta é muito genérica e leva a conclusões enganosas. A pergunta correta é "contra qual objetivo estamos medindo performance?". Se você não tem uma linha de base, não tem meta, não tem indicatorizador definido antes da execução, qualquer número que saia daí é ruído, não dado. Na minha experiência, passei uns quatro meses tentando implementar um sistema de avaliação para um projeto de capacitação profissional em uma prefeitura do interior. A equipe queria saber quantos cursos tinham sido oferecidos e quantas pessoas tinham concluído. Eu disse que isso não respondia nada. O que a gente precisava era rastrear a inserção no mercado de trabalho dos formandos em um período de seis meses pós-cursos. Levei dois meses para convencer os gestores de que sem esse acompanhamento, o projeto era só entretenimento gratuito com boa intenção.

eficácia eficiência e efetividade

Agora as definições, mas na ordem errada do que você esperaria. Eficácia é a coisa mais simples do mundo e também a mais ignorada. Eficácia significa simplesmente alcançar o resultado pretendido. Pronto. Se você definiu que o objetivo era reduzir a mortalidade infantil em 15% em_dois anos e reduziu em 14%, você foi eficaz. Ponto. Não precisa de cálculo complexo, não precisa de planilha com quinze abas. Precisa de um número objetivo e uma data para verificar. O problema é que eficácia pura é insuficiente. Você pode atingir a meta gastando três vezes o orçamento, usando cinco vezes mais pessoal do que o necessário e criando uma burocracia que vai travar todos os programas seguintes por anos. Aí entra a eficiência, que é basicamente sobre produtividade de recursos. Eficiência mede a relação entre o que você entrega e o que você gasta. Se você reduziu a mortalidade infantil em 15% com metade do orçamento e em três meses, isso é eficiência elevada. Se gastou três milhões e levou dois anos, isso é eficiência péssima, mesmo tendo sido eficaz. Aí tem a efetividade, que é o que mais gente confunde com os outros dois conceitos. Efetividade é sobre impacto real e sustentável no terreno. Não é o que você mediu no relatório, é o que aconteceu de verdade na vida das pessoas. Um programa pode ser eficaz — entregou os números — e eficiente — gastou pouco — mas inefetivo se o resultado não se mantém depois que o dinheiro acaba. Ou pior: se o resultado é positivo nos números mas negativo nas condições reais de vida da população alvo. Isso acontece mais do que deveria.

Tive um caso específico que me marcou. Fomos contratados para avaliar um programa de distribuição de cestas básicas em uma região metropolitana. Os números oficiais mostravam eficácia total: 98% das famílias contempladas receberam as cestas no prazo. Eficiência também parecia boa: custo por família atendia abaixo da média nacional. Mas quando eu fui para o campo e falei com as famílias, descobri que 40% tinham vendido parte dos alimentos para pagar contas de luz atrasadas, e os 30% restantes tinham consumido tudo em três dias por falta de estrutura de armazenamento. O programa era eficaz e eficiente nos indicadores, mas inefetivo porque não resolvia a insegurança alimentar — apenas a adiadava por alguns dias. Desmontamos a avaliação em duas semanas e propusemos uma rede de bancos de alimentos com ponto de coleta e armazenamento cooperado. Custou 23% a mais por família, mas o impacto médio por família triplicou em três meses. Uma coisa que pouca gente entende sobre esses três conceitos é que eles não são progressivos. Não é que você primeiro seja eficaz, depois eficiente, depois efetivo. Pode ser eficiente e ineficaz, ou eficaz e inefetivo. O cenário mais perigoso é o que eu chamo de "triângulo vazio": ineficaz, ineficiente e inefetivo. É o que acontece em 70% dos projetos que eu vejo sendo financiados com verba pública e nunca sendo avaliados de verdade. Outro ponto importante: a eficácia depende de metas realistas. Se você uma meta impossível, mesmo com os melhores recursos e a melhor execução, não vai ser eficaz. Já vi projetos com metas de 90% de cobertura em comunidades com acesso praticamente impossível de logística. O projeto já nascia condenado. A lição prática é: defina a meta antes de pensar em como alcançar, e seja brutalmente honesto sobre o que é alcançável com os recursos disponíveis.

Quanto à eficiência, tem um viés perigoso que é a redução de custos a qualquer preço. Cortei verba de capacitação de equipes em 30% num projeto e o resultado caiu pela metade em quatro meses. Eficiência não é cortar, é otimizar. A diferença é sutil mas faz tudo. Otimização significa alocar recursos onde o retorno é maior, não simplesmente gastar menos. Às vezes gastar mais no início gera economia de 300% no médio prazo. É contra-intuitivo mas é o que a prática mostra. A efetividade é o conceito que mais dificuldade eu vejo as pessoas aplicarem porque exige acompanhamento de longo prazo. Você não consegue medir efetividade em três meses. O mínimo decente é seis meses a um ano de acompanhamento pós-implementação. Se você pressiona por resultado rápido, inevitavelmente vai medir atividade, não impacto. Atividade é fácil: quantas reuniões, quantos documentos, quantas pessoas capacitadas. Impacto é difícil: quantas famílias saíram da pobreza, quantos casos de violência diminuíram, quantas empresas formalizaram funcionários. O primeiro você Mede em dias. O segundo você leva anos. Se você quer colocar isso em prática de forma concreta, o primeiro passo é escrever no papel o que você espera que aconteça com cada recurso aplicado. Não no cérebro, no papel. Quando eu vejo alguém tentar fazer isso de cabeça, resulta em objetivos flous tipo "melhorar a qualidade de vida", que não podem ser medidos e portanto não levam a nenhuma conclusão útil. Escreva: "Aumentar em X% a variável Y no período Z". Sem isso, você não tem nem o que chamar de eficácia.

O segundo passo é identificar as fontes de dados que você já tem. A maioria dos orgãos públicos e empresas privadas tem dados sendo gerados o tempo inteiro — cadastros, relatórios financeiros, sistemas de atendimento — e ninguém usa para avaliação. Eu passei uma semana mapeando dados que já existiam em uma secretaria e usei para construir uma linha de base que antes estava sendo feita manualmente por uma equipe de estagiários durante dois meses. A economia de tempo foi de 85%. O dado certo era o mesmo, só que estava sendo desperdiçado. O terceiro passo é aceitar que você vai precisar medir coisas que não gosta. Todo mundo quer medir o que faz o projeto parecer bom. Às vezes o que você precisa medir é o que faz ele parecer ruim, porque é isso que vai indicar onde ajustar. Em um projeto de saúde pública, medimos a taxa de desistência nos primeiros 30 dias e descobrimos que o horário de atendimento estava excluindo 60% dos usuários. O projeto estava "funcionando" nos números totais, mas a exclusão era estrutural. Sem medir o desvio, nunca descobriríamos. Quanto a ferramentas, o básico que funciona para a maioria dos casos é uma matriz lógica simples com quatro colunas: insumos, atividades, produtos e resultados. Você preenche cada uma e depois verifica se há coerência entre elas. Insumo vira atividade que vira produto que vira resultado. Se em algum elo essa cadeia quebra, você achou o gargalo. Metade dos problemas que eu encontro estão em elos quebrados que ninguém percebe porque estão olhando só para o começo ou só para o fim.

Para acompanhamento mais robusto, existe o marco lógico, que é uma evolução da matriz lógica com indicadores verificáveis, fontes de verificação e pressupostos. É mais trabalhoso mas compensa em projetos que duram mais de um ano ou envolvvem múltiplos atores. Eu usei marco lógico em um programa que envolvia três secretarias diferentes e cinco organizações não governamentais. Sem o marco lógico estruturado, cada ator estava medindo performance de forma diferente e os dados nunca conversavam. Com o marco, em seis semanas tínhamos um painele consolidado com indicadores padronizados. Tem um problema sério que é a armadilha do indicador_proxy. Você mede algo fácil que supostamente reflete algo importante. Exemplo clássico: medir o número de livros distribuídos como proxy de melhoria na alfabetização. São coisas relacionadas mas não são a mesma coisa. Distribuir livros não melhora alfabetização. Ensinar a ler, sim. Eu vi um programa que foi considerado "bem-sucedido" porque distribuiu 50 mil livros em seis meses, quando a taxa de alfabetização na região tinha caído 2% no mesmo período. O indicador proxy estava escondendo o fracasso real. Outra armadilha é a do efeito Hawthorne. Quando as pessoas sabem que estão sendo monitorados, elas mudam comportamento temporariamente. Isso gera resultados inflados nas medições que caem assim que o monitoramento termina. Em um projeto de educação que acompanhei, os índices de aprendizagem subiram 18% durante o período de monitoramento intensivo e caíram 12% nos três meses seguintes. O monitoramento em si estava gerando o resultado positivo, não o método pedagógico. Você precisa de grupo de controle ou de medições cegas para evitar essa distorção.

Um limite importante que eu preciso ser honesto sobre: esses conceitos não funcionam bem em contextos de alta volatilidade. Se o ambiente muda rapidinho — crise econômica, mudança de legislação, desastre natural — as metas que você definiu no início podem ficar obsoletas em semanas. Nesse caso, o que funciona melhor é uma abordagem iterativa, com revisões trimestrais das metas e dos indicadores. Não adianta teimar com uma meta que já não faz mais sentido. Eu perdi dois meses tentando justificar dados ruins com uma meta que tinha sido num contexto que já não existia mais. Refiz a meta no terceiro mês e os dados finalmente fizeram sentido. Para quem quer se aprofundar sem gastar dinheiro com consultoria, o guia do Banco Mundial sobre monitoramento e avaliação é um ponto de partida sólido e gratuito. Tem exemplos práticos e metodologias aplicáveis tanto para setor público quanto privado. A Organização Pan-Americana de Saúde também tem material bom, especialmente para áreas de saúde. E tem o curso aberto do FGV sobre avaliação de políticas públicas que cobre os três conceitos com bastante profundidade. No final das contas, a diferença prática entre eficácia, eficiência e efetividade se resume a uma coisa: eficácia responde "atingimos o que prometemos?", eficiência responde "fizemos com o mínimo de recursos?" e efetividade responde "o que fizemos mudou algo que durou?". Se você consegue responder essas três perguntas com dados e não com achismo, já está na frente de 90% das avaliações que eu vejo sendo feitas por aí.