Ao fazer a retrospectiva de 2015, uma das coisas que ficou destacada para mim foi a grande quantidade de métodos possíveis de serem aplicados para avaliar um projeto social ou política pública.
Sempre fui grande defensora e fã de métodos de avaliação econômica: Experimentos Aleatórios (Randomized Controlled Trials – RCT), Diferença em Diferenças (Difference in Differences – DID) e Modelo de Regressão com Descontinuidade (RDD). Inclusive, continuo achando que esses métodos de análise são a forma mais precisa de medir o impacto de uma intervenção social.
Lembrando que, se a intenção é mensurar o impacto de um projeto não há dúvidas de que esses métodos são os melhores pois eles criam uma situação onde dois grupos assumidamente idênticos são comparados após uma intervenção em que apenas um grupo foi beneficiado pelo projeto e o outro não. Assim, é possível simular as perguntas-chave: Como estaria aquela pessoa caso a intervenção não tivesse ocorrido? Quanto a vida daquela pessoa melhorou e em quais e aspectos?
Ocorre que desde a minha chegada aqui na Plan, percebi que outras abordagens de avaliação muitas vezes podem ser mais apropriadas, por questões de escassez de tempo e recursos financeiros ou porque o cliente não está muito interessado em medir o impacto. Neste sentido, um professor de Ciências Políticas e Relações Internacionais da Universidade de Columbia, Chris Blattman, comentou algo bastante interessante: “suponha que cada estudo realizado seja um poste de luz. Talvez a gente prefira então alguns pequenos postes de luz iluminando o caminho do que o maior poste de luz iluminando somente um ponto”.
De fato, métodos como experimentos aleatórios muitas vezes trazem argumentos extremamente sólidos sobre o porquê e o quanto uma intervenção funciona. Por outro lado, a pergunta que levanto aqui é se esses métodos são sempre os mais apropriados considerando especialmente o que será feito com os resultados levantados pela avaliação.
Sara Nadel e Lant Princhett comentam em um estudo que, do ponto de vista de um aluno de doutorado, por exemplo, o planejamento de uma pesquisa de campo segue basicamente o seguinte processo:
1. Identificar um problema;
2. Estabelecer um modelo que explique as relações causais;
3. Revisar a literatura e identificar uma intervenção que possa resolver o problema em questão;
4. Implementar a intervenção em metade da população-alvo e comparar depois as diferenças entre os dois grupos;
5. Escrever um artigo;
6. Expandir e replicar se os resultados forem positivos.
O planejamento de uma avaliação que realizamos aqui na Plan segue essencialmente os mesmos passos. No entanto, quando um dos objetivos da avaliação não é escrever e publicar uma dissertação, será que não há outros métodos mais apropriados que se adequam mais às necessidades de um órgão público ou instituição social? Será que é por essa razão então que as metodologias aqui mencionadas são realizadas na maioria das vezes no âmbito acadêmico?
Mesmo que esses experimentos econômicos na maioria das vezes sejam bastante rigorosos no que se refere à validade interna, ou seja, estão preocupados se as relações causais observadas pelo estudo estão livres de qualquer viés, a validade externa é talvez igualmente importante: considerar se o projeto pode ser expandido ou replicado em outras populações.
A conclusão então é simples: para cada intervenção há uma forma diferente de se fazer a avaliação. O mais importante antes de tudo é saber o que se pretende fazer com os resultados encontrados e quais são os recursos disponíveis.
Referências:
NADEL, S. PRICHETT, L. “Learning about Program Design With Rugged Fitness Spaces”. Working Paper.
PETERS, J., Langbein, J., ROBERTS, G. “Policy Evaluation, Randomized Controlled Trials, and External Validity – A Systematic Review”. RUHR Economic Papers. Novembro, 2015.
http://chrisblattman.com/