Reconhecimento

Na Plan temos como princípio que a prática da pesquisa faz com que os nossos consultores estejam mais preparados também para a reflexão teórica. Isso porque quem vai a campo tem a oportunidade de testar suas hipóteses, confrontando-as com a realidade vivida pelas pessoas, realidade que refuta, afirma e estimula com uma veemência que o argumento e o contraditório, no plano das ideias, não alcançam. Nestes tempos de juízos baseados em informação de segunda mão alimentados pela hipercirculação das ideias na internet, é tentador se engajar no debate a partir de pontos de vista autorizados por outros, sem que nos demos conta que algumas vezes as autoridades também apoiam suas teses em informações colhidas precariamente.

Como sempre –mas mais ainda hoje porque as notas metodológicas somem nos rodapés do desinteresse e da falta de tempo do público– o teste empírico é indispensável para que o conhecimento sobre a realidade social qualifique o discurso. Para o avaliador essa missão é crítica pois suas conclusões informarão, além da teoria sobre como fazer programas e projetos melhores, a execução de políticas que afetarão a vida das pessoas.

Por isso fiquei muito orgulhoso com o reconhecimento que grandes instituições produtoras de saber deram a quatro membros de nosso escritório este ano. Uma delas, Rafaela Antoniazzi, foi aceita no programa de doutoramento em economia da Fundação Getúlio Vargas. Seus posts neste blog dão conta de como sua perspectiva evoluiu como resultado da imersão na realidade das escolas, empresas, agricultores, ONGs, governos e tantos outros atores que teve a oportunidade de entrevistar nesses anos de Plan, abrindo sua perspectiva sobre as possibilidades dos métodos mistos de pesquisa.

Cristiana Martin e Peter Smith, que outro dia mesmo, cientistas sociais recém-saídos da faculdade, tiveram na Plan uma porta de acolhimento no mundo profissional, ingressaram ambos no programa de mestrado em sociologia da Universidade de São Paulo. Os dois têm abraçado desafios como investigar a realidade vivida pelas pessoas da zona rural do Maranhão, dos bairros pobres do ABC paulista, dos vilarejos do extremo norte do Amapá, de territórios marcados por problemas sociais seriíssimos como a exploração de crianças e o tráfico de pessoas, entre tantas outras viagens a campo. Esses mesmos jovens sociólogos aprenderam, pelo calejamento da prática, a ter a segurança necessária para entrevistar também pessoas em posição de poder nas inúmeras avaliações institucionais que a Plan faz.

Por fim, e não menos entusiasmante, a ex-advogada Veridiana Mansour, que se fez avaliadora neste escritório após concluir um mestrado de transição de carreira, foi contratada pela FAO – Organização das Nações Unidas para a Alimentação e a Agricultura, em seu centro mundial de avaliação, em Roma. Uma notícia agridoce pela falta que nos faz, mas que mais que tudo corrobora sua incrível dedicação ao trabalho de pesquisa.

Parabéns a eles e a toda a equipe da Plan, e um 2017 de mais prática e mais reflexão para todos nós. Se tiver que amassar barro, nós amassamos, como a Cris e a Rafa aí na foto.

Balanços de fim de ano

Ao fazer a retrospectiva de 2015, uma das coisas que ficou destacada para mim foi a grande quantidade de métodos possíveis de serem aplicados para avaliar um projeto social ou política pública.

Sempre fui grande defensora e fã de métodos de avaliação econômica: Experimentos Aleatórios (Randomized Controlled Trials – RCT), Diferença em Diferenças (Difference in Differences – DID) e Modelo de Regressão com Descontinuidade (RDD). Inclusive, continuo achando que esses métodos de análise são a forma mais precisa de medir o impacto de uma intervenção social.

Lembrando que, se a intenção é mensurar o impacto de um projeto não há dúvidas de que esses métodos são os melhores pois eles criam uma situação onde dois grupos assumidamente idênticos são comparados após uma intervenção em que apenas um grupo foi beneficiado pelo projeto e o outro não. Assim, é possível simular as perguntas-chave: Como estaria aquela pessoa caso a intervenção não tivesse ocorrido? Quanto a vida daquela pessoa melhorou e em quais e aspectos?

Ocorre que desde a minha chegada aqui na Plan, percebi que outras abordagens de avaliação muitas vezes podem ser mais apropriadas, por questões de escassez de tempo e recursos financeiros ou porque o cliente não está muito interessado em medir o impacto. Neste sentido, um professor de Ciências Políticas e Relações Internacionais da Universidade de Columbia, Chris Blattman, comentou algo bastante interessante: “suponha que cada estudo realizado seja um poste de luz. Talvez a gente prefira então alguns pequenos postes de luz iluminando o caminho do que o maior poste de luz iluminando somente um ponto”.

De fato, métodos como experimentos aleatórios muitas vezes trazem argumentos extremamente sólidos sobre o porquê e o quanto uma intervenção funciona. Por outro lado, a pergunta que levanto aqui é se esses métodos são sempre os mais apropriados considerando especialmente o que será feito com os resultados levantados pela avaliação.

Sara Nadel e Lant Princhett comentam em um estudo que, do ponto de vista de um aluno de doutorado, por exemplo, o planejamento de uma pesquisa de campo segue basicamente o seguinte processo:

1. Identificar um problema;
2. Estabelecer um modelo que explique as relações causais;
3. Revisar a literatura e identificar uma intervenção que possa resolver o problema em questão;
4. Implementar a intervenção em metade da população-alvo e comparar depois as diferenças entre os dois grupos;
5. Escrever um artigo;
6. Expandir e replicar se os resultados forem positivos.

O planejamento de uma avaliação que realizamos aqui na Plan segue essencialmente os mesmos passos. No entanto, quando um dos objetivos da avaliação não é escrever e publicar uma dissertação, será que não há outros métodos mais apropriados que se adequam mais às necessidades de um órgão público ou instituição social? Será que é por essa razão então que as metodologias aqui mencionadas são realizadas na maioria das vezes no âmbito acadêmico?

Mesmo que esses experimentos econômicos na maioria das vezes sejam bastante rigorosos no que se refere à validade interna, ou seja, estão preocupados se as relações causais observadas pelo estudo estão livres de qualquer viés, a validade externa é talvez igualmente importante: considerar se o projeto pode ser expandido ou replicado em outras populações.

A conclusão então é simples: para cada intervenção há uma forma diferente de se fazer a avaliação. O mais importante antes de tudo é saber o que se pretende fazer com os resultados encontrados e quais são os recursos disponíveis.

Referências:

NADEL, S. PRICHETT, L. “Learning about Program Design With Rugged Fitness Spaces”. Working Paper.

PETERS, J., Langbein, J., ROBERTS, G. “Policy Evaluation, Randomized Controlled Trials, and External Validity – A Systematic Review”. RUHR Economic Papers. Novembro, 2015.

http://chrisblattman.com/

Reflexões a 25 mil pés de altitude

Em abril passado cedemos um de nossos avaliadores a uma fundação norte-americana. Recebemos ontem este bilhetinho enviado por ele numa garrafa que nos chegou boiando pelo Atlântico:

Voar sempre me faz refletir. Há algum tempo voava por majestosas nuvens de tempestade entre São Paulo e Boston, voltando para casa, ruminando sobre a empresa que acabava de deixar. Sem mergulhar nos detalhes dos meus pensamentos, tentei escavar as origens comuns das experiências que passei entre meus colegas da Plan.
You'll get there

A Plan parece ser uma entre um punhado de instituições brasileiras que exclusivamente se dedicam ao monitoramento e à avaliação. Além disso, a Plan avidamente solicita trabalho de uma diversidade de clientes. O perfil variado dos clientes requer mais do que uma estratégia inteligente: cria um ambiente de projetos forçosamente artesanais e personalizados.

O que me impressionou e ainda me impresiona sobre meus colegas foi que, em um ambiente avesso ao risco e à incerteza, não cederam ao reflexo comum de se simplificar e especializar. Enquanto estava lá, nem estreitaram seu campo de clientes, nem se restringiram a um conjunto definido de métodos independentes da natureza do projeto.
Com um esforço incansável, evitavam se considerar especialistas oniscientes que chegam para resolver definitivamente os problemas dos outros. Ao contrário, se desafiaram a aprender, a considerar profundamente cada situação e evoluir ao lado de cada projeto. Enquanto projetavam uma imagem de solidez profissional, internamente conservaram um ambiente honesto, aberto e flexível que encorajava a experimentação e aceitava os riscos inerentes a isso, assim protegendo a chama delicada da inovação e da criatividade.

O que a Plan faz não se traduz fluidamente para um folder promocional ou para um desses sites desses de consultoria cheio de palavras-chave (“synergistic innovation in evaluative practice for a complex global community”…blá,blá,blá). Mas é essa a recusa do caminho fácil, a dedicação invisível desta empresa (além das capacidades incríveis dos indivíduos), que faz da Plan uma equipe formidável.

Não posso imaginar um grupo com o qual me orgulharia mais de ter trabalhado.

Sinceramente,
Will

Conquistas em 2013

Dois mil e treze foi de importantes realizações para a Plan. Fechamos o ano com o melhor resultado desde nossa fundação em 2007. Destaco a realização de duas avaliações complexas envolvendo programas verdadeiramente transnacionais, com parceiros baseados em 37 países. Estamos satisfeitos por termos feito a diferença na vida de um número grande de pessoas, em particular por intermédio de avaliações na área de direitos humanos.

O foco na avaliação de programas de advocacy (a defesa de causas nos organismos decisórios como governos, legislaturas e organizações multilaterais), fez com que a Plan aperfeiçoasse os métodos de atuação nessa área. Apresentamos um trabalho sobre o assunto no Seminário da Rede Brasileira de Monitoramento e Avaliação, assinado pelo consultor William Faulkner.

Destaco também nossa evolução nas pesquisas de campo com questionários padronizados (surveys). Em 2013 estivemos em dois terços dos estados brasileiros. Fizemos ainda sondagens por telefone para empresas e governos, sob coordenação do consultor João Martinho.

O ponto alto de nossa atuação de campo aconteceu em outubro. Aplicamos uma complexa pesquisa domiciliar em comunidades beneficiadas por obras de urbanização no Espírito Santo, envolvendo 1.800 famílias. A capacidade de coordenação de nossa gerente de avaliação Camila Cirillo e o apoio de nossa estagiária Ana Paula Simioni foram essenciais para o sucesso dessa pesquisa.

A ferramenta de mapeamento de indicadores locais foi outro marco de nossa trajetória em 2013. Esse software permite a governos e empresas priorizar suas políticas sociais por meio da identificação de carências de populações específicas em sua área de atuação. Para o seu desenvolvimento, contamos com a inventividade de Mauro Zackiewicz na produção de uma interface gráfica original.

Nenhuma dessas realizações teria sido possível sem o apoio de centenas de pesquisadores de campo e consultores associados, aos quais mais uma vez agradecemos.

Em 2014 seguiremos apostando no crescente mercado da avaliação de programas, contribuindo para o aperfeiçoamento da gestão pública e da participação social.