Utilisation-focused evaluation (UFE) is an approachthat emphasises the importance of engaging with stakeholders throughout the evaluation process to ensure that findings are relevant, useful, and actionable. It focuses on providing feedback and insights that lead to more effective decision-making and ultimately improving the success of the project, programme, or policy being evaluated. This approach is aligned with our mission to analyse the performance of institutions to help them amplify, improve, and sustain societal benefits.
With that approach in mind, Plan Eval, in partnership with Action Against Hunger, conducted the evaluation of UNICEF Brazil’s Country Programme 2017 – 2021. The evaluation had as its objectives to provide accountability for the work performed in the period under analysis and to be a learning tool to inform the upcoming programme cycle. To achieve such objectives, the evaluators applied a utilisation-focused and participatory approach. It consisted of engaging with stakeholders from the inception to the reporting stages, going over each evaluation question to make sure that it served a practical purpose.
The team held weekly check-in meetings during the research phase to report on the progress of information collected and likewise during the analytic phase, to discuss preliminary findings. Come the reporting stage, the conclusions were presented in a series of online discussions involving UNICEF Brazil’s programme officers, whose criticism was essential for the evaluation team to hone in on the relevance of the findings. The latter round of validations consisted of participatory SWOT seminars, where everyone involved in the management response to the evaluation had the opportunity to rank recommendations in terms of their priority for implementation and likely impact.
UNICEF presence in Brazil
The Country Programme Evaluation (CPE) is a mandatory assessment conducted by UNICEF Country Offices every two programme cycles (i.e., every ten years) and is among the most complex, as it looks at all programmatic areas and operations. Evaluating a broad range of activities and outcomes across different sectors can be challenging to manage as it involves multiple stakeholders like government partners, civil society organisations, and other UN agencies. Managing the input and feedback from these different groups required integrating data into a dynamic evidence matrix organised by evaluation question and intended purpose.
Boris Diechtiareff, Monitoring and Evaluation Specialist at the Brazil Country Office (BCO) highlighted the usability and influence of the evaluation findings and recommendations. According to him, “the findings not only focused on the mandatory aspects but also saw the necessity and the benefits of doing the exercise to help design the new country program”. The evaluation was “shared and used widely by different teams and stakeholders, including the Country Management Team, the UNICEF Latin America and Caribbean Regional Office, the Brazilian Cooperation Agency and the Brazilian Government”.
The evaluation report‘s findings and recommendations, in addition to informing the Country Programme Document (CPD), also served as a learning tool to improve the response to the Venezuelan migrant emergency in Brazil.
Certa vez, li em um post de uma especialista em avaliação no Linkedin, de que a medição de impacto teria virado um verdadeiro “fetiche” entre financiadores e/ou gestores de programas sociais e políticas públicas. Ao mesmo tempo em que concordava inteiramente com os argumentos apresentados, dada a minha própria experiência profissional como avaliadora, procurava entender a fonte dessa obsessão por este tipo de avaliação. Posso até entender que haja uma certa ansiedade por parte dos financiadores para justificar os investimentos, assim como também entendo a aflição por parte dos gestores para apresentar os resultados alcançados; porém, enquanto avaliadora, o que percebo é escassez de conhecimento sobre esse tipo de avaliação; afinal, nem todos os programas ou políticas justificam uma estimação de impacto. E nesse ponto, cabe, a nós avaliadores, compartilhar, sempre que possível, as condições que permitem a condução bem-sucedida de uma avaliação de impacto. Escrever este texto foi a forma que encontrei para contribuir nessa tarefa, trazendo ainda, de forma bastante sucinta, algumas reflexões da minha experiência nos dois últimos anos.
De maneira geral, as avaliações de impacto, ao oferecer evidências críveis quanto ao desempenho e ao alcance dos resultados desejados, são centrais à construção do conhecimento sobre a efetividade de programas sociais e de desenvolvimento, esclarecendo o que funciona e o que não funciona na promoção do bem-estar de uma população ou comunidade. Em resumo:
“Uma avaliação de impacto avalia as mudanças no bem-estar dos indivíduos que podem ser atribuídas a um projeto, programa ou política em particular. Este enfoque na atribuição do resultado é o selo distintivo das avaliações de impacto. Igualmente, o desafio central da execução de avaliações de impacto é identificar a relação causal entre o projeto, programa ou política e os resultados de interesse”[1].
A característica distintiva da medição de impacto é justamente o enfoque na causalidade e atribuição de resultados; neste sentido, a principal pergunta a ser formulada em uma avaliação de impacto é: “qual é o impacto (ou efeito causal) de um programa sobre um resultado de interesse?” Isto é, uma avaliação de impacto tem como interesse o efeito que o programa gera exclusivamente em virtude de sua existência.
Apresentação no VII Encontro da Rede do Acesso Mais Seguro 2022, em Brasília (DF).
Para poder estimar o efeito causal ou impacto de um programa sobre os resultados, qualquer método escolhido deve estimar o chamado contrafactual, isto é, qual teria sido o resultado para os participantes do programa se eles não tivessem participado do programa. Na prática, a medição de impacto exige que o avaliador compare um grupo de tratamento que recebeu o programa e um grupo que não o recebeu, a fim de estimar a efetividade do programa. Para tanto, o melhor é que estes dois grupos sejam identificados ainda na etapa de planejamento do programa ou política; o que não significa que não possam ser identificados em uma etapa posterior, contudo, neste caso, é maior a probabilidade de se produzir estimativas menos confiáveis.
Espera-se que na etapa de planejamento de um programa ou política sejam produzidos: i) dados de linha de base para estabelecer as medidas pré-programa de resultados de interesse; e o ii) desenho de uma teoria de mudança bem clara sobre os resultados pretendidos. Isso permite que se obtenha uma estimativa válida do cenário contrafactual e, assim, tende-se a produzir medições confiáveis. Ademais, evita-se que os resultados da medição sejam dependentes de contextos e/ou fatores externos que possam afetar programas ao longo de sua implementação.
Nos últimos dois anos, muitos programas sociais e de desenvolvimento tiveram que enfrentar as consequências da pandemia de COVID-19, o que, de certo modo, afetou os resultados pretendidos inicialmente. Não se tratando de afetações triviais, a pandemia, alinhada a outros problemas já conhecidos por gestores, como falta de recursos, pessoal e informação, gerou verdadeiras barreiras para uma avaliação de impacto, ao menos para programas de desenvolvimento que não criaram as condições necessárias para tal durante o processo de seu planejamento. Programas atravessados pelo período pandêmico tiveram, inclusive, seus processos de implementação seriamente afetados e/ou interrompidos. Isso foi possível de ser observado em alguns projetos de avaliação executados pela Plan Eval em 2021 e 2022.
Apresentação no VII Encontro da Rede do Acesso Mais Seguro 2022, em Brasília (DF).
Em um desses projetos, ficou evidente para a equipe de avaliadores que ao invés de uma avaliação de impacto seria mais pertinente que se realizasse uma avaliação do que estava sendo executado até aquele momento e descrevesse os processos, condições, relações organizacionais e pontos de vista das partes interessadas, como forma de situar em que estágio de desenvolvimento encontrava-se o programa para gestores e parceiros envolvidos.
Alternativamente, trabalhou-se também com análise de contribuição. Diferentemente da medição de impacto, que se ocupa da atribuição, na análise de contribuição a causalidade é estabelecida pela composição de um argumento lógico em que se leva em conta como diferentes partes envolvidas deram o seu quinhão para que o resultado observado acontecesse. Nessa abordagem, são descartadas explicações alternativas que, ainda que plausíveis, não são embasadas pelas evidências. Essas evidências, por sua vez, têm origem na documentação da memória do programa, nos dados de sistemas de monitoramento, em depoimentos, entrevistas e grupos de discussão, que são comparados para gerar a hipótese de contribuição mais plausível.
Além disso, a escuta de partes interessadas nas condições impostas pela pandemia serviu também como processo de reflexão não apenas sobre a situação dos programas mas também teve caráter muitas vezes terapêutico. Isso chama muito a atenção quando se considera as novas realidades impostas pela pandemia na saúde mental da população como um todo, tema incontornável naquele contexto de isolamento social e luto coletivo. Esses processos tanto influenciavam os resultados esperados como passaram a ser objeto dos programas no sentido de se incorporar medidas mitigatórias para aliviar as dificuldades psicossociais enfrentadas.
Apresentação no VII Encontro da Rede do Acesso Mais Seguro 2022, em Brasília (DF).
É compreensível que entre gestores as evidências quantitativas de impacto sejam fáceis de comunicar pelo poder sintético de um número que captura toda a diferença atribuída ao programa. Contudo, muitos se esquecem de que uma avaliação de impacto também se baseia em evidências qualitativas e de que estas podem explicar melhor como se deu o impacto de um programa na vida das pessoas.
Assim, na impossibilidade de se fazer a medição de impacto como esperado por algumas organizações, os últimos anos mostraram-se bastante frutíferos para se comprovar a relevância de estratégias alternativas de avaliação, o que já se nota no aumento da demanda por abordagens qualitativas no âmbito da cooperação para o desenvolvimento após um período de ascendência da abordagem experimental.
[1] Gertler, Paul J.; Martinez, Sebastian; Premand, Patrick; Rawlings, Laura B.; Vermeersch, Christel M. J. Avaliação de Impacto na Prática. Banco Mundial, Washington, D.C. 2015.
For the last couple of months, Plan Eval has been working on the evaluation of a social protection program using the QuIP methodology. In this blogpost, Pauline Mauclet, Evaluator at Plan Eval, explains what this methodology is all about and reflects on some of the challenges and lessons learned from this evaluation.
The Qualitative Impact Assessment Protocol, commonly referred to as QuIP, is a qualitative evaluation method used to assess the contribution of an intervention, without the use of a counterfactual. In other words, it is part of a wider family of approaches providing an alternative to quantitative impact assessments, which tend to be quite time-consuming and costly, to assess the impact of an intervention.
The method was developed by Bath SDR, a non-profit organization founded by a small team of researchers from the Centre for Development Studies (CDS) at the University of Bath.
In practice, the method assesses the contribution of an intervention by relying on the perceptions of beneficiaries and stakeholders. Therefore, the method consists in asking beneficiaries about the changes, both positive and negative, that they observed in their lives over a certain period of time and to then inquire about the causal factors that might have caused those changes (in their opinion).
In the following paragraphs, I will discuss some of the key features of the QuIP methodology, which help bring robustness and credibility to the research findings. The interesting thing is that most of these features can easily be replicated with other methodologies.
A common issue when asking beneficiaries about a certain benefit they received is that their responses might be biased, meaning that they might not be speaking the truth. Some respondents might for example be inclined to speak very positively about an intervention just to please the interviewer or because they are afraid to lose the benefit if they say anything negative about it. This type of bias is referred to as a response bias. In order to avoid this issue, the QuIP method uses a technique called (Double) Blindfolding. Blindfolding consists in asking the respondent questions without directly mentioning the program or intervention that is being evaluated. With Double Blindfolding, both the respondent and the interviewer are unaware of the intervention that is being evaluated.
In practice, the interview therefore starts with general questions about the changes observed in one’s environment over a certain period of time and then continues with probing questions about the factors that might have caused these changes. The idea is that the respondent would then mention the intervention by him- or herself, without any pressure or expectations.
But what if the respondent doesn’t mention the intervention? In that case, it might mean that the intervention wasn’t that noteworthy or impactful for the respondent, which is an interesting result in itself.
The key advantage of the QuIP method is that by asking general questions which are not focused on the intervention, we open up the possibility for respondents to surprise us. For example, respondents might mention a change which was not anticipated in the intervention’s theory of change. They might also explain how the intervention impacted them, but not in the way that was originally expected. Respondents could also mention other interventions or external factors that brought significant changes in their lives. In other words, the QuIP methodology puts the intervention’s Theory of Change to the test and can be used to refine it.
Now, asking beneficiaires about their perceptions seems nice, but which beneficiaries should we interview? It is impossible to interview everyone, so how do make sure that our results are representatitve and are not just a reflection of the opinion of a small portion of the population?
This is a common issue with qualitative research. Quantitative semi-experiments are able to work around this problem by collecting data from a representative, randomly selected sample of the target population. However, while quantative studies are appropriate to collect “factual” data, they may not be ideal to ask respondents about their experiences and opinions. In those cases, qualitative studies are much more appropriate. So, then, how do we select cases in a way that supports robust and credible generalisation of the results?
In order to rebuff criticisms of “cherry picking” , the QuIP methods favours a transparent and reasoned approach to case selection. Depending on whether a list of beneficiaries exists; whether a theory of change has already been defined; and whether data on outcomes exists and can be used for the case selection, different case selection approaches can be used, as shown in the diagram below (source: Bath SDR)
Case Selection Strategies (Source: Bath SDR)
Finally, a third feature of the QuIP methodology(not exclusive to the QuIP methodology) is the use of codification to bring transparency and credibility to the analysis process. What is specific to the QuIP methodology is that the codification will focus exclusively on identifying Influence factors and Change factors.
Influence and Change factors (Source: Bath SDR)
By identifying the different influence factors and change factors, we aim to build causal claims. Note that one change factor can also lead to another change, as shown in the diagram below.
Building Causal Claims (Source: Bath SDR)
The objective of the codification process is to find stories of change. Through the use of codification, we can present those stories of change visually, while also facilitating internal and external peer review and audit.
Now that we have presented the QuIP methodology, I would like to reflect on some of the challenges and lessons learned from implementing the method for the evaluation of a social protection program in Mozambique.
The evaluation was commissioned by one of Plan Eval’s clients and the research methodology was defined based on the Terms of Reference provided by the client. The evaluation questions included questions related to the changes brought about my the program, but also questions related to the program’s implementation. As a result, our team set up a methodology that included the use of the QuIP methodology, along with a more classical evaluative approach using the OECD DAC Criteria of relevance, effectiveness, efficiency and cohesion. The intervention consisted in cash transfers provided in two parcels to a group of beneficiaries, with a Communication for Development (C4D) component.
In terms of case selection, our initial research design considered the possibility of using beneficiary data to select beneficiaries for the semi-structured interviews. The program had an existing Theory of Change and there was even data available on certain outcomes thanks to a short survey that was conducted by the client to a sample of beneficiaries after reception of each parcel of the cash transfers. Under this scenario, we planned to conduct a Confirmatory analysis stratified by context and outcomes. In practice, this meant that we would use the existing outcome data to select different profiles of beneficiaries to be interviewed in the field. By doing so, we were sure to cover a variety of profiles, while also opening up the possibility of triangulating the qualitative data with the existing quantitative data at the analysis stage.
Unfortunately, we ended up not receiving access to the beneficiary data before the start of the data collection activities. As a result, we had to adapt our case selection approach at the last minute and ended up going for an Opportunistic selection, by location and by beneficiary profile. The beneficiaries were identified and mobilized in the field, with support of the local authorities.
In terms of data collection, we ended up going for the Blindfolding of beneficiaries, without blindfolding the researchers, mainly for practical reasons.
Data Collection activities using the QuIP methodology (Source: Plan Eval)
In addition to the last-minute change in approach for case selection, another difficulty was that of ensuring the blindfolding of beneficiaries, due to the fact that we conducted in each location both QuIP and non QuIP interviews. In accordancae with the evaluation objectives, the QuIP interviews focused on the contributions and changes brought about by the intervention, while the non QuIP interviews focused on the program’s implementation. By conducting both QuIP and non QuIP interviews in the same location, and considering that beneficiaries were mobilized with the support of local authorities, we had to take a special care to clearly explain to the local authorities the difference between the two types of interviews and to make sure that the respondents to the QuIP interviews weren’t “contaminated” (in other words, that they were informed of the fact that the study aimed to evaluate the social protection program before the start of the interview).
Finally, we observed that it was sometimes difficult to get people to talk during the interviews. People responded to the interview questions, but without providing much detail. This can be problematic for the QuIP methodology, because it may limit our understanding of the real stories of change. As a result, we played around with the format of the interviews and conducted some QuIP interviews in a Focus Group Discussion format in order to see if it helped stimulate the conversation. Additionally, we observed the importance of using open-ended questions to stimulate the conversation and to be patient with respondents, giving them the time to feel enough at ease to open up.
Another important aspect is to make sure that the respondent focuses on his own experience, rather than speaking about the experience of the community and neighbours. Therefore, it is important to remind the person from time to time to talk about their own experience and to focus on the observed changes.
Overall, in terms of lessons learned, I would identify the following elements:
(If possible) Conduct the QuIP and non-QuIP interviews in different locations in order to avoid the risk of “contamination”
Importance of open-ended questions to stimulate conversation
Importance of being patient and letting the respondent speak freely, but reminding the person (when necessary) to talk about their own experience and focusing on observed changes
Encourage respondents to focus on their own experience, rather than the experience of the community, neighbours, etc.
Importance of being well acquainted with the questionnaire BEFORE starting data collection activities
The study is currently at the analysis and reporting phase. Once the study will have been finalized, I will report on any challenges and lessons learned from that stage of the evaluation process.
In the meantime, if you are interested in the results of this evaluation or if you have any questions on the use of the QuIP method, please feel free to contact us by email:
Depois de seis anos do lançamento do Minha Casa Minha Vida, programa de subsídio à construção de casas para famílias de baixa renda, as primeiras avaliações começaram a ser publicadas. No mês de abril o LabCidade (FAU/USP) divulgou avaliação dos empreendimentos de São Paulo e o Observatório das Metrópoles (Órgão do INCT), dos empreendimentos no Rio de Janeiro.
Os estudos revelaram dinâmicas particulares de cada localidade, das quais destacaremos aqui duas: por quê integrantes da faixa de renda inferior do Programa se inscrevem para imóveis destinados à faixa intermediária, e as lógicas espacial e urbana sob as quais os empreendimentos foram realizados.
Com o objetivo de dar a famílias de baixa renda acesso à casa própria, o Programa estabeleceu, desde o início, as faixas de renda e o número de unidades que seriam construídas para cada uma. Seria uma forma de garantir que o investimento social chegasse ao público desejado.
Dentre as três faixas existentes[1], a avaliação do Minha Casa Minha Vida no Rio de Janeiro mostrou que os interessados no programa que se encaixavam na Faixa 1 —e que deveriam contribuir com R$ 50 mensais, um pagamento simbólico haja vista a previsão de subsídio integral a esse público— começaram a buscar o Programa por meio do financiamento disponível para a Faixa 2, ou seja, abrindo mão do subsídio “integral” por um subsídio parcial (contribuição superior a R$ 50 mensais) na futura moradia.
Ao investigar os motivos dessa prática, a hipótese que mais pareceu se adequar à realidade entendeu que famílias da Faixa 1 que têm vínculo salarial estável e possivelmente com uma poupança prévia, buscaram uma solução mais rápida para a obtenção do imóvel que os procedimentos que envolvem os que estão na Faixa 1, isto é: cadastro municipal, critérios de prioridade e sorteio. Ao buscar a Faixa 2, mesmo sendo Faixa 1, famílias que têm o orçamento pressionado pelo aluguel ou são de moradias precárias e em áreas vulneráveis pareciam ter encontrado uma estratégia interessante para acelerar a obtenção da casa própria.
As avaliações também buscaram entender a inserção urbana dos empreendimentos, estudando sob quais lógicas sócio-espaciais foram alocados. Ao analisar este fenômeno em quatro diferentes escalas (regional, municipal, do empreendimento e da unidade habitacional) e três dinâmicas distintas (grau de proximidade ou distância dos centros, acesso a equipamentos e serviços e avaliação de mobilidade), os estudos feitos no Rio de Janeiro e São Paulo identificaram que os empreendimentos da Faixa 1 encontram-se majoritariamente em áreas periféricas, enquanto os conjuntos habitacionais da Faixa 3 são os que mais se aproximam dos centros urbanos e, portanto, áreas com maior acesso a equipamentos e serviços. O mapa abaixo, extraído do documento “Ferramentas para Avaliação da Inserção Urbana dos Empreendimentos MCMV”, revela a localização das unidades habitacionais Faixa 1 em relação à densidade dos postos de emprego no município de São Paulo.
Densidade de postos de empregos no município de São Paulo e empreendimentos da Faixa 1
Foram encontrados ainda problemas relacionados à habitabilidade —nem todos os empreendimentos adequam-se às diferentes composições e tamanhos familiares; aos custos inerentes à moradia —são maiores que os valores das prestações e, portanto, ainda caros para a baixa renda; e dificuldades de adequação ao uso —a reprodução de um modelo construtivo que desconsidera diversidades regionais.
O programa tem-se mostrado bem-sucedido no que concerne a segurança da posse do imóvel, desde que quitadas as parcelas. Além disso, as famílias em condições de vulnerabilidade, sem acesso a saneamento básico e moradia segura foram priorizadas no atendimento.
Como já mencionado em post aqui no blog, essas condições territoriais —ou o “efeito território” de estar inserido em áreas de vulnerabilidade social e distante dos centros de uma metrópole— implicam na reprodução social das condições de vida a ponto de impactar na renda futura das pessoas que lá crescem.
As avaliações do Minha Casa Minha Vida abordam ainda uma série de outros aspectos, como a inserção urbana dos empreendimentos, além de impactos na vida dos beneficiários. Ambos estão disponíveis em *.pdf nos links:
[1] Faixa 1 : renda familiar mensal até R$ 1.600,00 ; Faixa 2 : renda familiar mensal até R$ 3.275,00; Faixa 3: renda familiar mensal até R$ 5.000,00. As faixas para a zona rural são anuais: Faixa 1 até R$ 15.000,00 ; Faixa 2 até R$ 30.000,00 e Faixa 3 até R$ 60.000,00.
A Plan está auxiliando a Secretaria de Planejamento e Desenvolvimento Regional do Estado de São Paulo na implementação do Projeto de Orçamento por Resultado (OpR) e, diante da atualidade do tema, o post dessa semana irá falar um pouco sobre o que é o OpR e qual o papel da avaliação nesse tipo de projeto.
Como o próprio nome já diz, OpR é um sistema em que o orçamento de uma instituição, órgão ou empresa está diretamente vinculado à obtenção de um resultado específico e pré-determinado. Desta forma, procura-se evitar a alocação inadequada dos recursos financeiros ou mesmo o seu desperdício.
Supondo que um órgão voltado à promoção de saúde, por exemplo, queira ampliar o número de atendimentos básicos realizados por ano, é possível atrelar seu orçamento anual à execução de ações que comprovadamente levam ao atingimento deste resultado pretendido, tais como contratação de mais médicos e aquisição de novos espaços e equipamentos. Portanto, o OpR pode ser considerado uma estratégia bastante importante à Administração Pública no desempenho de suas funções, permitindo, inclusive, que os serviços prestados atinjam aos beneficiários com maior eficácia e qualidade.
No entanto, a implementação de OpR não se esgota na elaboração orçamentária; é preciso desenvolver mecanismos que possam indicar que o OpR cumpre com a sua finalidade primordial, que é o atingimento dos resultados pretendidos. E é neste contexto que se insere o monitoramento e a avaliação.
Não basta direcionar o orçamento à execução de atividades focadas no atingimento de um resultado; é necessário, sobretudo, monitorar e avaliar se estas atividades realmente contribuem para o atingimento deste resultado, sendo a criação de indicadores de desempenho a ferramenta mais indicada para este fim. Isto porque são os indicadores que irão medir o desempenho da instituição, órgão ou empresa na concretização do OpR, avaliando se o resultado pretendido foi ou não atingido.
Adicionalmente, estes indicadores também permitem identificar eventuais obstáculos e desafios à concretização do OpR, possibilitando a realização dos ajustes necessários antes da ocorrência de prejuízos irreparáveis. Diante disso, são ferramentas essenciais para garantir a adequada alocação do orçamento.
A Organização das Nações Unidas, por meio do documento intitulado Results-Based Management in the United Nations Development System: Progress and Challenges, reforçou este entendimento ao definir que o OpR consiste na (i) formulação do orçamento baseada em objetivos pré-definidos e resultados esperados; cujos (ii) resultados justificam os recursos despendidos nas atividades, que estão necessariamente relacionadas ao seu cumprimento; e em que (iii) a performance e o desempenho são medidos por indicadores objetivos.
Portanto, além de vincular o orçamento a atividades necessárias ao atingimento de um resultado específico, é essencial ao projeto de OpR que este resultado esperado possa ser mensurado, pois é a partir desta mensurabilidade que os indicadores apropriados são elaborados.
Assim como os inúmeros instrumentos de gestão existentes, o OpR e seus indicadores devem ser sistematicamente acompanhados, de forma automatizada, mecânica ou até mesmo manual. Por isso, durante sua elaboração, além de ter em mente a viabilidade dos resultados esperados, é fundamental ser preciso na definição dos indicadores e realista quanto às possibilidades de acompanhamento.
Em abril passado cedemos um de nossos avaliadores a uma fundação norte-americana. Recebemos ontem este bilhetinho enviado por ele numa garrafa que nos chegou boiando pelo Atlântico:
Voar sempre me faz refletir. Há algum tempo voava por majestosas nuvens de tempestade entre São Paulo e Boston, voltando para casa, ruminando sobre a empresa que acabava de deixar. Sem mergulhar nos detalhes dos meus pensamentos, tentei escavar as origens comuns das experiências que passei entre meus colegas da Plan.
A Plan parece ser uma entre um punhado de instituições brasileiras que exclusivamente se dedicam ao monitoramento e à avaliação. Além disso, a Plan avidamente solicita trabalho de uma diversidade de clientes. O perfil variado dos clientes requer mais do que uma estratégia inteligente: cria um ambiente de projetos forçosamente artesanais e personalizados.
O que me impressionou e ainda me impresiona sobre meus colegas foi que, em um ambiente avesso ao risco e à incerteza, não cederam ao reflexo comum de se simplificar e especializar. Enquanto estava lá, nem estreitaram seu campo de clientes, nem se restringiram a um conjunto definido de métodos independentes da natureza do projeto.
Com um esforço incansável, evitavam se considerar especialistas oniscientes que chegam para resolver definitivamente os problemas dos outros. Ao contrário, se desafiaram a aprender, a considerar profundamente cada situação e evoluir ao lado de cada projeto. Enquanto projetavam uma imagem de solidez profissional, internamente conservaram um ambiente honesto, aberto e flexível que encorajava a experimentação e aceitava os riscos inerentes a isso, assim protegendo a chama delicada da inovação e da criatividade.
O que a Plan faz não se traduz fluidamente para um folder promocional ou para um desses sites desses de consultoria cheio de palavras-chave (“synergistic innovation in evaluative practice for a complex global community”…blá,blá,blá). Mas é essa a recusa do caminho fácil, a dedicação invisível desta empresa (além das capacidades incríveis dos indivíduos), que faz da Plan uma equipe formidável.
Não posso imaginar um grupo com o qual me orgulharia mais de ter trabalhado.
Dois mil e treze foi de importantes realizações para a Plan. Fechamos o ano com o melhor resultado desde nossa fundação em 2007. Destaco a realização de duas avaliações complexas envolvendo programas verdadeiramente transnacionais, com parceiros baseados em 37 países. Estamos satisfeitos por termos feito a diferença na vida de um número grande de pessoas, em particular por intermédio de avaliações na área de direitos humanos.
O foco na avaliação de programas de advocacy (a defesa de causas nos organismos decisórios como governos, legislaturas e organizações multilaterais), fez com que a Plan aperfeiçoasse os métodos de atuação nessa área. Apresentamos um trabalho sobre o assunto no Seminário da Rede Brasileira de Monitoramento e Avaliação, assinado pelo consultor William Faulkner.
Destaco também nossa evolução nas pesquisas de campo com questionários padronizados (surveys). Em 2013 estivemos em dois terços dos estados brasileiros. Fizemos ainda sondagens por telefone para empresas e governos, sob coordenação do consultor João Martinho.
O ponto alto de nossa atuação de campo aconteceu em outubro. Aplicamos uma complexa pesquisa domiciliar em comunidades beneficiadas por obras de urbanização no Espírito Santo, envolvendo 1.800 famílias. A capacidade de coordenação de nossa gerente de avaliação Camila Cirillo e o apoio de nossa estagiária Ana Paula Simioni foram essenciais para o sucesso dessa pesquisa.
A ferramenta de mapeamento de indicadores locais foi outro marco de nossa trajetória em 2013. Esse software permite a governos e empresas priorizar suas políticas sociais por meio da identificação de carências de populações específicas em sua área de atuação. Para o seu desenvolvimento, contamos com a inventividade de Mauro Zackiewicz na produção de uma interface gráfica original.
Nenhuma dessas realizações teria sido possível sem o apoio de centenas de pesquisadores de campo e consultores associados, aos quais mais uma vez agradecemos.
Em 2014 seguiremos apostando no crescente mercado da avaliação de programas, contribuindo para o aperfeiçoamento da gestão pública e da participação social.
Em 2008, quando a Plan éramos só eu e a Paula, competentíssima ajudante num projeto que introduzia a gestão por resultados na Prefeitura de São Paulo (então no hiato entre uma carreira na Bolsa de Mercadorias e Futuros e o que viria a ser seu encontro com a vocação de professora de letras no ensino médio), eu sonhava que em 2013 a gente tivesse algo parecido com atuação nacional. Imaginava que um bom indicador de sucesso da empresa seria ter ajudado na implantação de programas com beneficiários no Brasil todo, algo como ter um ministério como cliente ou sair a campo fazendo surveys com milhares de casos que seriam lidos por quem tinha poder de decidir.
Colunas em que a gente de vez em quando se apoia
No final deste mês terminaremos um projeto de caracterização em 18 cidades distribuídas por todas as regiões do país. São 18 consultores em campo e potencialmente centenas de milhares de beneficiados. Talvez, enfim, meu objetivo “quantitativo” de 2008 esteja sendo cumprido. Significa muito para todos aqui da Plan; será nosso rito de passagem para o mundo das consultorias “adultas”.
Mas essa não foi nossa conquista principal.
Lembro que, à época, em meio a assistentes sociais desconfiadas, arquitetos sobressaltados, sociólogos reticentes, pensava também que, se em 5 anos de empresa tivéssemos conseguido levar um pouco da racionalidade da avaliação para meios em que o discurso especulativo prevalecia, teríamos ali uma grande vitória. Refiro-me ao debate contínuo de inspiração canônico-teórica, crítico sem dúvida, e humanista no bom sentido de sensível às muitas dimensões da existência, mas estranhamente desconfiado da racionalidade explicativa.
Ora, esse objetivo (“qualitativo”, por assim dizer) alcançamos mais rapidamente do que prevíamos ao trabalhar convencendo as pessoas de que a objetividade não é inimiga da sensibilidade, da teoria, ou dos projetos de transformação. Ao enfatizar que o conhecimento que se apoia sobre a verificação não é apenas instrumental, mas iluminador.
(Verificação é um problema que na filosofia da ciência se traduz em: “como você sabe que o que está afirmando reflete a realidade?”. Descreva os conceitos que está a empregar. Fale sobre as ferramentas que utilizou para observá-los. Explicite seus indicadores, os casos colhidos, sua representatividade.)
Explique-nos, gestor da área social, o que ocorreu e convença-nos de que seu programa melhorou a vida das pessoas, como, quanto, quando.
As vezes em que vi olhares desconfiados do “positivismo” se abrirem aos poucos às possibilidades transformadoras do saber positivo no decorrer de um projeto foram as mais gratificantes, sem dúvida. Ali sentidos fundamentais da avaliação de programas sociais foram compreendidos: mudar a vida das pessoas para melhor, fazer mais com menos, fazer direito. Todo método decorre daí. Não importa se “quali” ou “quanti”, desde que traga respostas as mais verdadeiras possíveis para as perguntas certas. E perguntas certas são aquelas que têm nexo com a transformação pretendida.
E, não menos importante, me dou conta de que a Paula, super racional ex-gestora corporativa hoje professora de francês, e os demais profissionais que trabalharam aqui desde então, têm em comum essa virtude de buscar objetivamente as possibilidades humanas do desenvolvimento social, o que define em grande medida a Plan como instituição.
