Certa vez, li em um post de uma especialista em avaliação no Linkedin, de que a medição de impacto teria virado um verdadeiro “fetiche” entre financiadores e/ou gestores de programas sociais e políticas públicas. Ao mesmo tempo em que concordava inteiramente com os argumentos apresentados, dada a minha própria experiência profissional como avaliadora, procurava entender a fonte dessa obsessão por este tipo de avaliação. Posso até entender que haja uma certa ansiedade por parte dos financiadores para justificar os investimentos, assim como também entendo a aflição por parte dos gestores para apresentar os resultados alcançados; porém, enquanto avaliadora, o que percebo é escassez de conhecimento sobre esse tipo de avaliação; afinal, nem todos os programas ou políticas justificam uma estimação de impacto. E nesse ponto, cabe, a nós avaliadores, compartilhar, sempre que possível, as condições que permitem a condução bem-sucedida de uma avaliação de impacto. Escrever este texto foi a forma que encontrei para contribuir nessa tarefa, trazendo ainda, de forma bastante sucinta, algumas reflexões da minha experiência nos dois últimos anos.
De maneira geral, as avaliações de impacto, ao oferecer evidências críveis quanto ao desempenho e ao alcance dos resultados desejados, são centrais à construção do conhecimento sobre a efetividade de programas sociais e de desenvolvimento, esclarecendo o que funciona e o que não funciona na promoção do bem-estar de uma população ou comunidade. Em resumo:
“Uma avaliação de impacto avalia as mudanças no bem-estar dos indivíduos que podem ser atribuídas a um projeto, programa ou política em particular. Este enfoque na atribuição do resultado é o selo distintivo das avaliações de impacto. Igualmente, o desafio central da execução de avaliações de impacto é identificar a relação causal entre o projeto, programa ou política e os resultados de interesse”[1].
A característica distintiva da medição de impacto é justamente o enfoque na causalidade e atribuição de resultados; neste sentido, a principal pergunta a ser formulada em uma avaliação de impacto é: “qual é o impacto (ou efeito causal) de um programa sobre um resultado de interesse?” Isto é, uma avaliação de impacto tem como interesse o efeito que o programa gera exclusivamente em virtude de sua existência.
Para poder estimar o efeito causal ou impacto de um programa sobre os resultados, qualquer método escolhido deve estimar o chamado contrafactual, isto é, qual teria sido o resultado para os participantes do programa se eles não tivessem participado do programa. Na prática, a medição de impacto exige que o avaliador compare um grupo de tratamento que recebeu o programa e um grupo que não o recebeu, a fim de estimar a efetividade do programa. Para tanto, o melhor é que estes dois grupos sejam identificados ainda na etapa de planejamento do programa ou política; o que não significa que não possam ser identificados em uma etapa posterior, contudo, neste caso, é maior a probabilidade de se produzir estimativas menos confiáveis.
Espera-se que na etapa de planejamento de um programa ou política sejam produzidos: i) dados de linha de base para estabelecer as medidas pré-programa de resultados de interesse; e o ii) desenho de uma teoria de mudança bem clara sobre os resultados pretendidos. Isso permite que se obtenha uma estimativa válida do cenário contrafactual e, assim, tende-se a produzir medições confiáveis. Ademais, evita-se que os resultados da medição sejam dependentes de contextos e/ou fatores externos que possam afetar programas ao longo de sua implementação.
Nos últimos dois anos, muitos programas sociais e de desenvolvimento tiveram que enfrentar as consequências da pandemia de COVID-19, o que, de certo modo, afetou os resultados pretendidos inicialmente. Não se tratando de afetações triviais, a pandemia, alinhada a outros problemas já conhecidos por gestores, como falta de recursos, pessoal e informação, gerou verdadeiras barreiras para uma avaliação de impacto, ao menos para programas de desenvolvimento que não criaram as condições necessárias para tal durante o processo de seu planejamento. Programas atravessados pelo período pandêmico tiveram, inclusive, seus processos de implementação seriamente afetados e/ou interrompidos. Isso foi possível de ser observado em alguns projetos de avaliação executados pela Plan Eval em 2021 e 2022.
Em um desses projetos, ficou evidente para a equipe de avaliadores que ao invés de uma avaliação de impacto seria mais pertinente que se realizasse uma avaliação do que estava sendo executado até aquele momento e descrevesse os processos, condições, relações organizacionais e pontos de vista das partes interessadas, como forma de situar em que estágio de desenvolvimento encontrava-se o programa para gestores e parceiros envolvidos.
Alternativamente, trabalhou-se também com análise de contribuição. Diferentemente da medição de impacto, que se ocupa da atribuição, na análise de contribuição a causalidade é estabelecida pela composição de um argumento lógico em que se leva em conta como diferentes partes envolvidas deram o seu quinhão para que o resultado observado acontecesse. Nessa abordagem, são descartadas explicações alternativas que, ainda que plausíveis, não são embasadas pelas evidências. Essas evidências, por sua vez, têm origem na documentação da memória do programa, nos dados de sistemas de monitoramento, em depoimentos, entrevistas e grupos de discussão, que são comparados para gerar a hipótese de contribuição mais plausível.
Além disso, a escuta de partes interessadas nas condições impostas pela pandemia serviu também como processo de reflexão não apenas sobre a situação dos programas mas também teve caráter muitas vezes terapêutico. Isso chama muito a atenção quando se considera as novas realidades impostas pela pandemia na saúde mental da população como um todo, tema incontornável naquele contexto de isolamento social e luto coletivo. Esses processos tanto influenciavam os resultados esperados como passaram a ser objeto dos programas no sentido de se incorporar medidas mitigatórias para aliviar as dificuldades psicossociais enfrentadas.
É compreensível que entre gestores as evidências quantitativas de impacto sejam fáceis de comunicar pelo poder sintético de um número que captura toda a diferença atribuída ao programa. Contudo, muitos se esquecem de que uma avaliação de impacto também se baseia em evidências qualitativas e de que estas podem explicar melhor como se deu o impacto de um programa na vida das pessoas.
Assim, na impossibilidade de se fazer a medição de impacto como esperado por algumas organizações, os últimos anos mostraram-se bastante frutíferos para se comprovar a relevância de estratégias alternativas de avaliação, o que já se nota no aumento da demanda por abordagens qualitativas no âmbito da cooperação para o desenvolvimento após um período de ascendência da abordagem experimental.
[1] Gertler, Paul J.; Martinez, Sebastian; Premand, Patrick; Rawlings, Laura B.; Vermeersch, Christel M. J. Avaliação de Impacto na Prática. Banco Mundial, Washington, D.C. 2015.