Avaliação de impacto: condições e desafios em tempo de pandemia

AUTORA: ANDREIA SKACKAUSKAS

Certa vez, li em um post de uma especialista em avaliação no Linkedin, de que a medição de impacto teria virado um verdadeiro “fetiche” entre financiadores e/ou gestores de programas sociais e políticas públicas. Ao mesmo tempo em que concordava inteiramente com os argumentos apresentados, dada a minha própria experiência profissional como avaliadora, procurava entender a fonte dessa obsessão por este tipo de avaliação. Posso até entender que haja uma certa ansiedade por parte dos financiadores para justificar os investimentos, assim como também entendo a aflição por parte dos gestores para apresentar os resultados alcançados; porém, enquanto avaliadora, o que percebo é escassez de conhecimento sobre esse tipo de avaliação; afinal, nem todos os programas ou políticas justificam uma estimação de impacto. E nesse ponto, cabe, a nós avaliadores, compartilhar, sempre que possível, as condições que permitem a condução bem-sucedida de uma avaliação de impacto. Escrever este texto foi a forma que encontrei para contribuir nessa tarefa, trazendo ainda, de forma bastante sucinta, algumas reflexões da minha experiência nos dois últimos anos.

De maneira geral, as avaliações de impacto, ao oferecer evidências críveis quanto ao desempenho e ao alcance dos resultados desejados, são centrais à construção do conhecimento sobre a efetividade de programas sociais e de desenvolvimento, esclarecendo o que funciona e o que não funciona na promoção do bem-estar de uma população ou comunidade. Em resumo:

“Uma avaliação de impacto avalia as mudanças no bem-estar dos indivíduos que podem ser atribuídas a um projeto, programa ou política em particular. Este enfoque na atribuição do resultado é o selo distintivo das avaliações de impacto. Igualmente, o desafio central da execução de avaliações de impacto é identificar a relação causal entre o projeto, programa ou política e os resultados de interesse”[1].

A característica distintiva da medição de impacto é justamente o enfoque na causalidade e atribuição de resultados; neste sentido, a principal pergunta a ser formulada em uma avaliação de impacto é: “qual é o impacto (ou efeito causal) de um programa sobre um resultado de interesse?” Isto é, uma avaliação de impacto tem como interesse o efeito que o programa gera exclusivamente em virtude de sua existência.

Apresentação no VII Encontro da Rede do Acesso Mais Seguro 2022, em Brasília (DF).

Para poder estimar o efeito causal ou impacto de um programa sobre os resultados, qualquer método escolhido deve estimar o chamado contrafactual, isto é, qual teria sido o resultado para os participantes do programa se eles não tivessem participado do programa. Na prática, a medição de impacto exige que o avaliador compare um grupo de tratamento que recebeu o programa e um grupo que não o recebeu, a fim de estimar a efetividade do programa. Para tanto, o melhor é que estes dois grupos sejam identificados ainda na etapa de planejamento do programa ou política; o que não significa que não possam ser identificados em uma etapa posterior, contudo, neste caso, é maior a probabilidade de se produzir estimativas menos confiáveis.

Espera-se que na etapa de planejamento de um programa ou política sejam produzidos: i) dados de linha de base para estabelecer as medidas pré-programa de resultados de interesse; e o ii) desenho de uma teoria de mudança bem clara sobre os resultados pretendidos. Isso permite que se obtenha uma estimativa válida do cenário contrafactual e, assim, tende-se a produzir medições confiáveis. Ademais, evita-se que os resultados da medição sejam dependentes de contextos e/ou fatores externos que possam afetar programas ao longo de sua implementação.

Nos últimos dois anos, muitos programas sociais e de desenvolvimento tiveram que enfrentar as consequências da pandemia de COVID-19, o que, de certo modo, afetou os resultados pretendidos inicialmente. Não se tratando de afetações triviais, a pandemia, alinhada a outros problemas já conhecidos por gestores, como falta de recursos, pessoal e informação, gerou verdadeiras barreiras para uma avaliação de impacto, ao menos para programas de desenvolvimento que não criaram as condições necessárias para tal durante o processo de seu planejamento. Programas atravessados pelo período pandêmico tiveram, inclusive, seus processos de implementação seriamente afetados e/ou interrompidos. Isso foi possível de ser observado em alguns projetos de avaliação executados pela Plan Eval em 2021 e 2022.

Apresentação no VII Encontro da Rede do Acesso Mais Seguro 2022, em Brasília (DF).

Em um desses projetos, ficou evidente para a equipe de avaliadores que ao invés de uma avaliação de impacto seria mais pertinente que se realizasse uma avaliação do que estava sendo executado até aquele momento e descrevesse os processos, condições, relações organizacionais e pontos de vista das partes interessadas, como forma de situar em que estágio de desenvolvimento encontrava-se o programa para gestores e parceiros envolvidos.

Alternativamente, trabalhou-se também com análise de contribuição. Diferentemente da medição de impacto, que se ocupa da atribuição, na análise de contribuição a causalidade é estabelecida pela composição de um argumento lógico em que se leva em conta como diferentes partes envolvidas deram o seu quinhão para que o resultado observado acontecesse. Nessa abordagem, são descartadas explicações alternativas que, ainda que plausíveis, não são embasadas pelas evidências. Essas evidências, por sua vez, têm origem na documentação da memória do programa, nos dados de sistemas de monitoramento, em depoimentos, entrevistas e grupos de discussão, que são comparados para gerar a hipótese de contribuição mais plausível.

Além disso, a escuta de partes interessadas nas condições impostas pela pandemia serviu também como processo de reflexão não apenas sobre a situação dos programas mas também teve caráter muitas vezes terapêutico. Isso chama muito a atenção quando se considera as novas realidades impostas pela pandemia na saúde mental da população como um todo, tema incontornável naquele contexto de isolamento social e luto coletivo. Esses processos tanto influenciavam os resultados esperados como passaram a ser objeto dos programas no sentido de se incorporar medidas mitigatórias para aliviar as dificuldades psicossociais enfrentadas.

Apresentação no VII Encontro da Rede do Acesso Mais Seguro 2022, em Brasília (DF).

É compreensível que entre gestores as evidências quantitativas de impacto sejam fáceis de comunicar pelo poder sintético de um número que captura toda a diferença atribuída ao programa. Contudo, muitos se esquecem de que uma avaliação de impacto também se baseia em evidências qualitativas e de que estas podem explicar melhor como se deu o impacto de um programa na vida das pessoas.

Assim, na impossibilidade de se fazer a medição de impacto como esperado por algumas organizações, os últimos anos mostraram-se bastante frutíferos para se comprovar a relevância de estratégias alternativas de avaliação, o que já se nota no aumento da demanda por abordagens qualitativas no âmbito da cooperação para o desenvolvimento após um período de ascendência da abordagem experimental.


[1] Gertler, Paul J.; Martinez, Sebastian; Premand, Patrick; Rawlings, Laura B.; Vermeersch, Christel M. J. Avaliação de Impacto na Prática. Banco Mundial, Washington, D.C. 2015.

Lessons learned from using the Qualitative Impact Assessment Protocol (QuIP) to assess the contribution of a social protection program in Mozambique

For the last couple of months, Plan Eval has been working on the evaluation of a social protection program using the QuIP methodology. In this blogpost, Pauline Mauclet, Evaluator at Plan Eval, explains what this methodology is all about and reflects on some of the challenges and lessons learned from this evaluation.

The Qualitative Impact Assessment Protocol, commonly referred to as QuIP, is a qualitative evaluation method used to assess the contribution of an intervention, without the use of a counterfactual. In other words, it is part of a wider family of approaches providing an alternative to quantitative impact assessments, which tend to be quite time-consuming and costly, to assess the impact of an intervention.

The method was developed by Bath SDR, a non-profit organization founded by a small team of researchers from the Centre for Development Studies (CDS) at the University of Bath.

In practice, the method assesses the contribution of an intervention by relying on the perceptions of beneficiaries and stakeholders. Therefore, the method consists in asking beneficiaries about the changes, both positive and negative, that they observed in their lives over a certain period of time and to then inquire about the causal factors that might have caused those changes (in their opinion).

In the following paragraphs, I will discuss some of the key features of the QuIP methodology, which help bring robustness and credibility to the research findings. The interesting thing is that most of these features can easily be replicated with other methodologies.

A common issue when asking beneficiaries about a certain benefit they received is that their responses might be biased, meaning that they might not be speaking the truth. Some respondents might for example be inclined to speak very positively about an intervention just to please the interviewer or because they are afraid to lose the benefit if they say anything negative about it. This type of bias is referred to as a confirmation bias. In order to avoid this issue, the QuIP method uses a technique called (Double) Blindfolding. Blindfolding consists in asking the respondent questions without directly mentioning the program or intervention that is being evaluated. With Double Blindfolding, both the respondent and the interviewer are unaware of the intervention that is being evaluated.

In practice, the interview therefore starts with general questions about the changes observed in one’s environment over a certain period of time and then continues with probing questions about the factors that might have caused these changes. The idea is that the respondent would then mention the intervention by him- or herself, without any pressure or expectations.

But what if the respondent doesn’t mention the intervention? In that case, it might mean that the intervention wasn’t that noteworthy or impactful for the respondent, which is an interesting result in itself.

The key advantage of the QuIP method is that by asking general questions which are not focused on the intervention, we open up the possibility for respondents to surprise us. For example, respondents might mention a change which was not anticipated in the intervention’s theory of change. They might also explain how the intervention impacted them, but not in the way that was originally expected. Respondents could also mention other interventions or external factors that brought significant changes in their lives. In other words, the QuIP methodology puts the intervention’s Theory of Change to the test and can be used to refine it.

Now, asking beneficiaires about their perceptions seems nice, but which beneficiaries should we interview? It is impossible to interview everyone, so how do make sure that our results are representatitve and are not just a reflection of the opinion of a small portion of the population?

This is a common issue with qualitative research. Quantitative semi-experiments are able to work around this problem by collecting data from a representative, randomly selected sample of the target population. However, while quantative studies are appropriate to collect “factual” data, they may not be ideal to ask respondents about their experiences and opinions. In those cases, qualitative studies are much more appropriate. So, then, how do we select cases in a way that supports robust and credible generalisation of the results?

In order to rebuff criticisms of “cherry picking” , the QuIP methods favours a transparent and reasoned approach to case selection. Depending on whether a list of beneficiaries exists; whether a theory of change has already been defined; and whether data on outcomes exists and can be used for the case selection, different case selection approaches can be used, as shown in the diagram below (source: Bath SDR)

Case Selection Strategies
(Source: Bath SDR)

Finally, a third feature of the QuIP methodology(not exclusive to the QuIP methodology) is the use of codification to bring transparency and credibility to the analysis process. What is specific to the QuIP methodology is that the codification will focus exclusively on identifying Influence factors and Change factors.

Influence and Change factors
(Source: Bath SDR)

By identifying the different influence factors and change factors, we aim to build causal claims. Note that one change factor can also lead to another change, as shown in the diagram below.

Building Causal Claims
(Source: Bath SDR)

The objective of the codification process is to find stories of change. Through the use of codification, we can present those stories of change visually, while also facilitating internal and external peer review and audit.

Now that we have presented the QuIP methodology, I would like to reflect on some of the challenges and lessons learned from implementing the method for the evaluation of a social protection program in Mozambique.

The evaluation was commissioned by one of Plan Eval’s clients and the research methodology was defined based on the Terms of Reference provided by the client. The evaluation questions included questions related to the changes brought about my the program, but also questions related to the program’s implementation. As a result, our team set up a methodology that included the use of the QuIP methodology, along with a more classical evaluative approach using the OECD DAC Criteria of relevance, effectiveness, efficiency and cohesion. The intervention consisted in cash transfers provided in two parcels to a group of beneficiaries, with a Communication for Development (C4D) component.

In terms of case selection, our initial research design considered the possibility of using beneficiary data to select beneficiaries for the semi-structured interviews. The program had an existing Theory of Change and there was even data available on certain outcomes thanks to a short survey that was conducted by the client to a sample of beneficiaries after reception of each parcel of the cash transfers. Under this scenario, we planned to conduct a Confirmatory analysis stratified by context and outcomes. In practice, this meant that we would use the existing outcome data to select different profiles of beneficiaries to be interviewed in the field. By doing so, we were sure to cover a variety of profiles, while also opening up the possibility of triangulating the qualitative data with the existing quantitative data at the analysis stage.

Unfortunately, we ended up not receiving access to the beneficiary data before the start of the data collection activities. As a result, we had to adapt our case selection approach at the last minute and ended up going for an Opportunistic selection, by location and by beneficiary profile. The beneficiaries were identified and mobilized in the field, with support of the local authorities.

In terms of data collection, we ended up going for the Blindfolding of beneficiaries, without blindfolding the researchers, mainly for practical reasons.

Data Collection activities using the QuIP methodology
(Source: Plan Eval)

In addition to the last-minute change in approach for case selection, another difficulty was that of ensuring the blindfolding of beneficiaries, due to the fact that we conducted in each location both QuIP and non QuIP interviews. In accordancae with the evaluation objectives, the QuIP interviews focused on the contributions and changes brought about by the intervention, while the non QuIP interviews focused on the program’s implementation. By conducting both QuIP and non QuIP interviews in the same location, and considering that beneficiaries were mobilized with the support of local authorities, we had to take a special care to clearly explain to the local authorities the difference between the two types of interviews and to make sure that the respondents to the QuIP interviews weren’t “contaminated” (in other words, that they were informed of the fact that the study aimed to evaluate the social protection program before the start of the interview).

Finally, we observed that it was sometimes difficult to get people to talk during the interviews. People responded to the interview questions, but without providing much detail. This can be problematic for the QuIP methodology, because it may limit our understanding of the real stories of change. As a result, we played around with the format of the interviews and conducted some QuIP interviews in a Focus Group Discussion format in order to see if it helped stimulate the conversation. Additionally, we observed the importance of using open-ended questions to stimulate the conversation and to be patient with respondents, giving them the time to feel enough at ease to open up.

Another important aspect is to make sure that the respondent focuses on his own experience, rather than speaking about the experience of the community and neighbours. Therefore, it is important to remind the person from time to time to talk about their own experience and to focus on the observed changes.

Overall, in terms of lessons learned, I would identify the following elements:

  1. (If possible) Conduct the QuIP and non-QuIP interviews in different locations in order to avoid the risk of “contamination”
  2. Importance of open-ended questions to stimulate conversation
  3. Importance of being patient and letting the respondent speak freely, but reminding the person (when necessary) to talk about their own experience and focusing on observed changes
  4. Encourage respondents to focus on their own experience, rather than the experience of the community, neighbours, etc.
  5. Importance of being well acquainted with the questionnaire BEFORE starting data collection activities

The study is currently at the analysis and reporting phase. Once the study will have been finalized, I will report on any challenges and lessons learned from that stage of the evaluation process.

In the meantime, if you are interested in the results of this evaluation or if you have any questions on the use of the QuIP method, please feel free to contact us by email:

Pauline Mauclet – Evaluator (Plan Eval)
pauline@plan-eval.com

Magdalena Isaurralde – Team Leader (Plan Eval)
magdalena@plan-eval.com



Avaliação participativa: reflexões sobre nossa experiência recente – e dicas para fazer melhor !

Por: Carla Sanche

Avaliação e participação são entendidas de forma distinta ao longo do tempo e conforme instituições e autores. Uma definição clássica de avaliação diz respeito a um processo sistemático de investigação sobre intervenções específicas (sejam elas projetos, programas ou políticas) com o objetivo de aperfeiçoar as tomadas de decisão com base num julgamento sobre o mérito ou valor do objeto avaliado[1].  Já a participação é definida de forma genérica como “ter ou tomar parte em”[2]. No que tange a participação social, pode-se falar de instrumentos e canais legitimados para o aperfeiçoamento da representação política e do controle do estado pela sociedade, ou, mais especificamente, para o desenvolvimento e implementação de intervenções, em especial aquelas lideradas pelo poder público[3].

Sabemos que a união desses dois princípios em função de necessidades práticas não é uma novidade. O que se quer destacar aqui é como a perspectiva dos atores sociais acerca de uma intervenção se reflete no campo da avaliação. Esse reconhecimento implica em tomar a participação como elemento de aumento da qualidade das avaliações em termos de utilidade, credibilidade e base em evidências[4].

Assim, o termo “avaliação participativa” é atualmente usado para descrever processos avaliativos que envolvem diferentes partes interessadas de uma intervenção, diferenciando-se das avaliações tradicionais realizadas por agentes externos e onde aquelas partes servem, basicamente, como fontes de informação ou meios de validação. A avaliação participativa caracteriza-se pelo engajamento direto e ativo dos diferentes atores[5] desde a identificação dos problemas, passando pela definição das partes a serem envolvidas, dos métodos de investigação até a divulgação e a discussão dos resultados da avaliação[6]. Na condução de práticas deste tipo, os avaliadores devem assumir mais o papel de facilitadores, guias e apoios técnicos e menos de “experts”. Desta forma, nesses processos o envolvimento e a aprendizagem são tão (ou mais) importantes do que os resultados. Por isso, diálogo, confiança e flexibilidade são elementos cruciais quando planejamos e conduzimos processos participativos.

Como avaliação e monitoramento andam juntos em função da necessidade de produção de informações periódicas sobre as intervenções a serem avaliadas, existem ainda as abordagens focadas em “monitoramento e avaliação participativos” (PM&E, sigla em inglês). Nestas, partes interessadas definem as mudanças relevantes e esperadas pela intervenção, tendo em conta sua posição privilegiada de quem vivencia essas mudanças e sua compreensão do contexto. Também podem ser envolvidos na construção de indicadores e na coleta de dados, não apenas como fornecedores de informação, mas também nas análises e reflexões sobre os resultados, identificação de avanços, limitações e recomendações de melhoria. Por se tratar de um processo contínuo, PM&E tem como um de seus propósitos a produção de saberes oportunos, confiáveis e relevantes a fim de retroalimentar a  tomada de decisão contribuindo de forma mais dinâmica e assertiva para o melhor direcionamento das intervenções[7] e [8].

Experiências recentes na Plan Eval

A construção do Quadro Lógico da Rede CUCA (2021) foi realizada por meio de um denso processo de colaboração em que foram envolvidos tanto jovens que utilizam esses equipamentos de esporte, cultura e lazer da cidade de Fortaleza (Brasil), como suas famílias, representantes das comunidades, agentes implementadores e gestores.

Desde a compreensão da situação atual do programa, passando pela revisão da Teoria da Mudança (TdM) até a definição dos indicadores, esses atores chaves participaram de forma ativa e crítica, refletindo sobre as transformações reais vivenciadas pelos jovens, limites operacionais e institucionais do programa, pertinência e relevância das proposições apresentadas por nós consultores. Por um lado, esse processo permitiu a construção de indicadores e ferramentas aderentes à realidade local e operacional dos equipamentos e da política de juventude de Fortaleza. Por outro, resultou num desenho de ciclo avaliativo futuro construído exatamente para a manutenção do envolvimento dos atores num continuum de análise crítica e reflexão intencional a respeito do alcance dos resultados, desafios, boas práticas e correções de rumo.

Revisão da TdM com jovens

Os resultados desse processo poderão ser vistos em breve na publicação a ser lançada pela Rede Cuca.

Na Avaliação dos Modelos de Gestão Comunitária da Água (2019-2021) , uma rede de comunidades rurais, prestadores de serviço de saneamento e fornecedores de assistência técnica, a participação das “Organizações de Acesso” (parceiros de implementação do programa) já estava definida como fio condutor desde o início dos trabalhos, mas a intensidade em que ocorreu na prática foi resultado de dois outros elementos colados à participação: a flexibilidade e o diálogo.

Na primeira rodada de produção de conhecimento realizada em 2019 utilizamos um instrumento construído a partir de duas fontes principais: um processo colaborativo com as organizações parceiras e as reflexões apresentadas no Marco Conceitual[9] consolidadas a partir de estudos consagrados sobre modelos de gestão comunitária da água. Passamos então à criação de um Índice de Sustentabilidade, a ser alimentado com informações produzidas pelos parceiros. Esse processo revelou uma grande variedade de soluções técnicas para o acesso a água, assim como as distintas formas atuação dos parceiros, deixando claro como seria desafiador capturar toda essa multiplicidade.

Dimensões de avaliação (Índice de Sustentabilidade para Modelos de Gestão Comunitária da Água)

Ficou claro para os que coordenavam o processo avaliativo que seria fundamental que as organizações parceiras se apropriassem da ferramenta, para que efetivamente os resultados demonstrassem quais aspectos/dimensões os modelos de gestão comunitária da água precisariam ser fortalecidos e quais práticas estavam dando certo.

Assim, a reflexão conjunta entre consultores, contratantes da avaliação e parceiros de implementação resultou na decisão pelo “redesenho” do instrumento de pesquisa (questionário estruturado) e criação de uma escala de nível de vulnerabilidade para o cálculo do Índice de Sustentabilidade a partir do da contribuição técnica dos parceiros implementadores. Ficou acordado ainda que neste processo seriam mais relevantes as trocas e a aprendizagem do que a manutenção da comparabilidade entre a primeira e a segunda rodada de coleta. E assim foi feito!

Durante o primeiro semestre de 2020, em reuniões semanais, debatemos e revisamos, dimensão a dimensão, com os representantes das organizações parceiras das diferentes regiões do Brasil. Como resultado, produzimos um instrumento de medição com maior aderência tanto aos aspectos técnicos da operação quanto aos diferentes modelos de gestão comunitária da água e à diversidade de realidades dos territórios onde as organizações parceiras atuam. A definição do padrão (escala de vulnerabilidade) junto com o alinhamento coletivo sobre o instrumento permitiu na segunda coleta (2021) a produção de um índice que se revelou coerente com as diferentes realidades culturais, territoriais e econômicas de cada uma das comunidades e sistemas estudados.

As ferramentas desenvolvidas, o aprendizado e as reflexões resultantes ficaram como legado desse processo e, a partir dos relatos dos parceiros, já estão contribuindo com as organizações implementadoras e comunidades na manutenção dos benefícios conquistados.

Workshop: Definição das dimensões de avaliação e primeiros indicadores (jul/19)

Em ambos os processos relatados acima, fizeram diferença (1) a capacidade de adaptação, flexibilidade e de proposição da equipe de consultores envolvidos[10], (2) o comprometimento por parte dos contratantes em mobilizar, incluir e facilitar o acesso da consultoria às diferentes partes envolvidas e (3) a disponibilidade de beneficiários diretos e agentes de implementação em contribuir na construção de uma avaliação aderente aos seus contextos.

Reflexões (e algumas dicas…)

A partir das experiências relatadas e de uma breve revisão documental[11], listamos algumas reflexões e aprendizados sobre a condução de processos de monitoramento e avaliação participativos:

  • Na condução de processos desse tipo é importante ter clareza que nós (avaliadores) atuamos mais na função de apoio técnico e de facilitação, e menos como especialistas;
  • Os atores envolvidos podem apresentar diferentes níveis de conhecimento sobre indicadores, sistemas de monitoramento e processos de avaliação. Nestas situações, vale (sempre que possível), apresentar um breve alinhamento conceitual (sem dar aulas!) em linguagem acessível e de fácil compreensão para cada público em questão, usando exemplos de fácil assimilação;
  • É um diferencial que os avaliadores tenham também habilidades de facilitação do diálogo sem perder de vista os objetivos avaliativos;
  • É necessário ter conhecimento sobre ferramentas e métodos participativos e ter atitudes e comportamentos que estimulem e ofereçam suporte à participação;
  • Capacidade de diálogo, escuta ativa, negociação e (muita) flexibilidade são essenciais!;
  • A flexibilidade e capacidade de proposição também devem ser aplicadas na definição, desenvolvimento ou adaptação das ferramentas a serem utilizadas;
  • Uso de elementos visuais em oposição a elementos escritos pode facilitar a inclusão de pessoas que têm dificuldades com leitura;
  • Processos participativos podem demandar mais tempo em função da variedade e quantidade de partes envolvidas. Isso pode resultar na necessidade de mais recursos (e paciência!);
  • A pandemia acelerou o uso das tecnologias de informação e comunicação (TICs) na condução das avaliações. Por um lado, isso ajudou a difusão e adaptação de muitas técnicas participativas. Por outro, ainda esbarramos na dificuldade de acesso à internet ou mesmo nas questões geracionais e limitações no uso de TICs. Portanto plataformas, ferramentas de apoio e técnicas de condução devem ser rigorosa e previamente planejadas e desenhadas de acordo com cada realidade e cada público envolvido;
  • O comprometimento real das instituições promotoras das intervenções e coordenadoras da avaliação é fundamental para os resultados desses processos. Além da abertura para a participação, essas organizações devem estar dispostas a promover revisões e adaptações em suas intervenções;
  • Como processo “voluntário e consciente” é importante reconhecer que algumas pessoas (beneficiários, principalmente) não querem se envolver ou não podem dedicar seu tempo às atividades propostas. Apesar disso, é importante estar atento ao equilíbrio entre a representatividade dos atores;
  • Gerenciar a interação entre as partes envolvidas pode ser um desafio quando não se tem claros os objetivos do processo, as necessidades de informação ou mesmo quando há conflitos prévios entre algumas das partes; 
  • Compreensão cultural e contextual são extremamente relevantes para o desenho dos processos de monitoramento e avaliação, e seus respectivos instrumentos e técnicas de abordagem (faça sua lição de casa!);
  • A abordagem participativa não exclui a realização de outros métodos no mesmo processo, como pesquisas com questionários padronizados ou mesmo medições de impacto pelo contrafactual[12]. Ao contrário, podem ser utilizadas em conjunto sempre que desejável e desde que a informação produzida por esses métodos seja relevante para os objetivos da avaliação.

[1] PRESSKIL, Hallie S. Building evaluation capacity: activities for teaching and training. SAGE: Oregon, 2016.

[2] FERREIRA, Aurélio Buarque de Holanda. Mini Aurélio Século XXI Escolar: o minidicionário da língua portuguesa. 4ª ed. Rio de Janeiro: Nova Fronteira, 2001. 790 p.

[3] MAGALHÃES, Carla S; FURTADO, Fernanda. (2009) Desafios da Consistência Participativa e dos seus Rebatimentos no Planejamento Urbano Municipal: A Experiência Recente de Duque de Caxias (RJ). ANAIS XIII ENANPUR, Florianópolis, Santa Catarina, Brasil.

[4] TAPELLA, Esteban (et al) (2021). Siembra y cosecha: Manual de Evaluación Participativa. Bonn: DEVAL.

[5] Para muitos autores o peso maior deve ser dado para a participação dos beneficiários (receptores das intervenções) e menos para os técnicos e gestores. Aqui entendemos que ambos são importantes e podem oferecer contribuições relevantes aos processos de monitoramento e avaliação participativos.

[6] JACOB, Steve. (2009). Comprendre et entreprendre une évaluation participative. Guide de synthèse. Québec: Bibliothèque et Archives nationales du Québec.

[7] INTRAC. (2020). Participatory M&E. Disponível em:  https://www.intrac.org/wpcms/wp-content/uploads/2017/01/Participatory-ME.pdf.. Acesso em: out/21.

[8] INSTITUTE OF DEVELOPMENT STUDIES (sd). Participatory Methods: Plan, Monitor and Evaluate. Disponível em: https://www.participatorymethods.org/task/plan-monitor-and-evaluate. Acesso em: out/21.

[9] A prioridade da Aliança Água+Acesso é a oferta de água segura para as comunidades. Para isso, precisa, entre outros elementos, que as organizações da ponta sejam fortes e consigam sustentar os benefícios conquistados para garantir a permanência dos serviços a longo prazo. Para mais: www.aguamaisacesso.com.br

[10] Na Rede CUCA: Carla Sanche, Catálise e Andreia Skackauskas, no Água+: Carla Sanche e Lucas Damiani.

[11] Autores citados anteriormente

[12] Alguns autores e organizações inclusive reforçam a importância da integração entre monitoramento e avaliação participativos com avaliações de impacto. Dois exemplos: GUIJT, Irene (2014). Participatory Approaches. Methodologial Briefs – Impact Evaluation Nº 5. Florence: UNICEF.; e CATLEY, Andy (et al). Participatory Impact Assessment: a design guide. Somerville: Feinstein International Center – Tufts University.

Ensinamentos da COVID-19 para a pesquisa qualitativa em Angola

É incontestável o impacto da pandemia da COVID-19 em diversos setores da economia e da sociedade neste ano de 2020. E com o setor de avaliação e monitoramento de projetos sociais não seria diferente. Todo o setor teve que repensar a forma de executar suas atividades, a maior parte delas passou a ser executada remotamente via plataformas de comunicação virtual. Reuniões com clientes, entrevistas com informantes chave, realização de grupos focais, apresentação de resultados, tudo isso foi readaptado para o mundo virtual para que os projetos de pesquisa e avaliação não parassem. É certo que algumas atividades já vinham sendo realizadas de forma remota há algum tempo, uma vez que avaliadores nem sempre vivem nas localidades onde os projetos sociais são conduzidos. Contudo, definitivamente, em alguns projetos essa readaptação se transformou em um grande desafio e gerou muitos ensinamentos para todos os envolvidos.

Como exemplo de um projeto desafiador que a Plan teve esse ano, cito o estudo qualitativo sobre o conhecimento, as atitudes, as práticas e as normas sociais e de gênero relacionados à interação entre cuidadores e crianças de 0-59 meses em três províncias de Angola (Bié, Huíla e Luanda). Este estudo foi encomendado pelo UNICEF Angola e contava com a visita de pesquisadores às três províncias para entrevistar informantes chave, como especialistas e profissionais, assim como gestores públicos das áreas da saúde e educação, ou ainda de áreas afins. Além, dos próprios cuidadores, especialmente pais e mães, que eram o público-alvo do estudo. A principal questão que se impôs para os pesquisadores da equipe foi: como realizar uma pesquisa qualitativa como essa que exigiria muito da observação participante do modo como pais e mães cuidam de suas crianças pequenas, sem estar presente?

A principal solução encontrada foi selecionar e treinar pesquisadores locais que pudessem ir até as famílias, visitá-las em suas residências e entrevistá-las. Entretanto, em Angola, algumas províncias instituíram barreiras em suas fronteiras para que as pessoas não circulassem livremente pelo país, como foi o caso de Luanda. E o próprio UNICEF não permitiu que houvesse o contato mais próximo entre pesquisadores e entrevistados com receio do contágio. Os pesquisadores locais deveriam então fazer as entrevistas por telefone. Duas dificuldades foram impostas nessa decisão: a seleção dos pesquisadores e o precário sistema de comunicação no país.

Xavier Donat - Creative Commons
Creative Commons

Ao longo da primeira fase da pesquisa, entrevistas virtuais com agentes comunitários e uma professora universitária acenderam a ideia na equipe de que jovens estudantes da área das ciências sociais e ativistas sociais, homens e mulheres, seriam ideais para conduzir as entrevistas com os cuidadores. Feita a seleção e o treinamento dos entrevistadores, faltava a seleção dos cuidadores. Estes, por sua vez, deveriam ter acesso pelo menos a um telefone celular, o que de certo diminuiu a chance de detectar famílias mais vulneráveis e mais distantes das áreas urbanas. E, uma vez selecionados, os entrevistadores encararam o desafio de ter algumas ligações de qualidade bastante precária ou de ter constantes interrupções na transmissão das chamadas.

Mesmo diante de todas as dificuldades, 106 pessoas ao todo foram entrevistadas para este estudo, sendo 34 informantes chave e 72 cuidadores (39 homens e 32 mulheres). As entrevistas qualitativas por telefone, ao mesmo tempo em que apontavam as perdas, também nos falavam de ganhos. Refiro-me às perdas quando, nas gravações feitas pelos pesquisadores, ouvíamos uma criança a chorar ou a pedir pelo pai e não ficávamos sabendo como os cuidadores reagiram no momento, não vimos sua expressão facial ou sequer o gesto que fizeram para conter o choro ou a súplica, ou seja, não vimos como os entrevistados se comportam com as crianças pequenas, assim como não vimos os lugares onde vivem, não sentimos o cheiro da comida que dão as crianças ou não sabemos como são as roupas que vestem seus filhos.

E quanto aos ganhos, refiro-me ao fato de os pesquisadores locais saberem como tratar e falar com os cuidadores, qual tratamento usar para cada pessoa, e a intimidade que criaram, sendo eles nativos do país, fez a diferença para que os dados coletados pudessem, mesmo com todos empecilhos possíveis, gerar um quadro o mais próximo da realidade diária do público-alvo. Um outro ponto forte dessa pesquisa foi poder contar com uma consultora italiana que morou por aproximadamente 10 anos em Angola e que acabou se casando com um angolano. Em muitos momentos, essa consultora pode traduzir para a equipe vocabulários, gírias, e explicar as disposições geográficas e culturais das três províncias em questão, ajudando assim a preencher alguns pontos que as entrevistas deixaram vagos.

A falta de experiência de alguns dos pesquisadores locais não se sobrepôs ao cuidado que tiveram para se aproximar remotamente de pessoas que estavam às vezes do outro lado do país. Chamou especial atenção a entrevista em que ao final a mãe chorou e agradeceu a paciência e o cuidado que a pesquisadora teve ao ouvi-la por tanto tempo. Como a pesquisa era sensível à questão de gênero, os pesquisadores locais foram divididos de forma que mulheres entrevistariam cuidadoras mulheres e homens entrevistariam cuidadores homens.

Dentre os muitos achados da pesquisa, destaco aqui, inclusive, como a questão de gênero permeou todas as temáticas levantadas pelo estudo. As mulheres são as principais responsáveis pelos cuidados com as crianças menores de 5 anos, pois são elas que as alimentam, banham, levam ao médico para consultas e para vacinar, e ficam a maior parte do tempo apoiando-as em seu desenvolvimento cognitivo e físico. Mesmo quando a mãe também trabalha fora de casa, como a maioria dos homens entrevistados, é ela a responsável por redirecionar essa tarefa para outras mulheres – babás, irmãs, primas, avós e, em grande medida, as filhas mais velhas. Desde pequenas as meninas são incumbidas de cuidar das crianças pequenas da família, e isso inclui irmãos, primos e muitas vezes vizinhos mais próximos. Isso acontece mesmo quando são elas muito jovens ou quando na família a criança mais velha é um menino.  

Algumas pessoas entrevistadas, especialmente as moradoras de áreas mais urbanizadas, destacaram haver uma mudança, mesmo que tímida, da relação entre homens e mulheres quanto à divisão de tarefas domésticas e de cuidados com os filhos. Homens estariam cada vez mais apoiando as mulheres nestas atividades. Muitos disseram durante as entrevistas que estariam realizando mais atividades domésticas e ficando mais com as crianças, quando dispunham de tempo para tanto (o que para muitos é algo raro, às vezes realizado aos finais de semana), e que acompanhavam as esposas às consultas médicas desde a gestação até as consultas de rotina do bebê (embora os profissionais de saúde apontem que são as mulheres ainda que mais estão presentes nas consultas e participam de palestras informativas sobre saúde e cuidados com as crianças pequenas).

Paulo César Santos (c) Creative Commons
Creative Commons

A desigual divisão sexual de tarefas domésticas e com as crianças é ainda mais penoso para as mães solteiras. Algumas das entrevistadas disseram se sentir constrangidas por não ter o nome do pai no registro de nascimento da criança, o que as leva a não querer registrá-las. Sobre as mães solteiras, especialmente as mais jovens, recaem muitas responsabilidades e cobranças, muitas vindas da própria família, e não causa estranhamento que a entrevistada mencionada que chorou com a pesquisadora local seja uma mãe solteira responsável por cuidar de três crianças sozinha.

Por um lado, a covid-19 nos impossibilitou a nós, pesquisadores da Plan, ou aos pesquisadores locais, de realizar a pesquisa da forma como deve ser feita, isto é, no campo, observando ativamente as pessoas e suas vivências de perto ou como nos disse um dos entrevistados com pesar quando soube que a entrevista seria virtualmente: “como poderei ver sua alma, sem você aqui na minha frente?” Por outro lado, a pandemia nos permitiu facilitar para que alguns dos jovens entrevistadores angolanos pudessem experimentar uma nova atividade, a partir do aprendizado de novas metodologias e ferramentas de trabalho, apresentando-se assim não apenas como uma mão de obra mais preparada para organizações internacionais interessadas em apoiar projetos sociais no país, mas acima de tudo como pessoas conscientes e empáticas à situação e necessidades da população ao seu redor.

Exporting Services: enhancing and boosting exports capabilities in the M&E industry.

What comes to mind when you think of exporting and international trade? Probably, packed goods, shipping containers, harbours, customs – but did you know that services can also be subject of exports, including M&E services? According to the latest data gathered by the World Bank, in 2018, services accounted for roughly 24% of international trade – or US$ 5.9 trillion in absolute numbers. 

Since 2011, Plan Eval has been providing M&E services for organisations all over the world. The first experiences were obtained through projects carried out along with private firms and NGOs based in countries such as Switzerland and the USA. Since then, our global client portfolio has been growing, mainly through agreements with cooperation agencies and international organisations – especially within the United Nations system, wherein we had the honour of evaluating country programmes implemented in the Caribbean and in Africa.

However, exporting might be quite a tricky task depending on the legislation of the country your business is based in – not to mention global events which cause macroeconomic instability, such as pandemics or trade tensions between countries, which might pose challenges to your operations. That is why one always needs to pursue knowledge and continuous improvement in order to avoid, or at least mitigate, risks which might jeopardise your strategic planning. 

In 2019, Plan Eval’s head office in São Paulo was tutored through the Exports Training Programme (PEIEX), an initiative supported by the Brazilian Trade and Investment Promotion Agency (ApexBrasil) and the Brazilian Ministry of Foreign Affairs (MRE). The programme aims to enhance the exporting capabilities of Brazilian companies.

Over the course of the meetings, certain topics, such as export planning, legal obligations, international contracting, exchange rate, and so forth, were presented. As for the legal obligations, one of the discussed points was the implementation of the SIRCOSERV system, an online platform launched in 2011 whereby Brazilian companies input data and information about their service operations abroad. Apart from auditing purposes, the platform is also meant to provide policy makers with accurate and relevant data which might be useful to formulate, implement and evaluate international trade-oriented economic policies.

This is only one of the steps taken by Plan Eval towards its internationalization: our contribution as a global company to the M&E industry has been also boosted by our commercial presence in Belgium as of 2016, thanks to the support from the Wallonia Foreign Trade and Investment Agency (AWEX), as well as from our clients based in several countries who have been contracting our services through our subsidiary located in the de facto capital of the European Union.

Sources:

Ministério da Economia: O Siscoserv: http://www.mdic.gov.br/index.php/comercio-servicos/a-secretaria-de-comercio-e-servicos-scs-15

Apex Brasil – Quem Somos: https://portal.apexbrasil.com.br/quem-somos/

World Bank – Exports of goods and services: https://data.worldbank.org/indicator/NE.EXP.GNFS.CD?end=2018&start=1960&view=chart


World Bank – Service Exports – https://data.worldbank.org/indicator/BX.GSR.NFSV.CD?end=2018&most_recent_value_desc=true&start=1960&view=chart&year=2018

Notes from the field – Data collection for impact evaluation in challenging settings

In 2018, PlanEval contributed to the impact assessment of a project supporting smallholder producers of cacao, pepper and coffee in São Tomé and Principe, a two-island state in the Gulf of Guinea. It is Plan Eval’s second project on the African small-island state, and a first for Pauline Mauclet, researcher at Plan since 2017 and Field Coordinator for the project. In this blogpost, she reflects on some of the main challenges of collecting data for a randomized controlled trial and illustrates these challenges with the project in São Tomé and Príncipe.

About the project

Sao Tome and Principe is a small-island state located in the Gulf of Guinea at about 250 kilometers from the West-African coast. The former Portuguese colony has a long history of producing cacao. Under colonization, the Portuguese built large plantation properties, commonly called roças, for the production of cane sugar and later cacao. Although production has known ups and downs both during colonization and after, agriculture has always been the driver of the country’s economy.[1] When organic chocolate started becoming a valuable good at the beginning of the years 2000, the International Fund for Agricultural Development (IFAD) saw an opportunity to boost the country’s economy, which had suffered from the drop in (non organic) cacao prices in the 1990s. That is how the project PAPAFPA, or Participatory Smallholder Agriculture and Artisanal Fisheries Development Programme, came to light. The programme was followed and complemented by the PAPAC project (2004 – 2014). The programme interventions supported the development of an export cooperative (PAPAFPA) and facilitated the production of certified organic family plantations (PAPAC) to increase agricultural productivity, strengthen the existing producers’ associations and enhance access to markets through the provision of training, small infrastructure, as well as financial[2] and managerial support to the cooperatives. After an initial success with the cacao value chain, the programme expanded its activity and applied the same concept to the production of organic pepper and coffee and a second cacao cooperative was created.[3]


Fig. 1: “Agricultura é a base do desenvolvimento” (Agriculture is the basis of development), a slogan written on a wall in a beneficiary community.

Working in the field is rarely an easy task. Field experiments do not enjoy the same level of control as lab experiments, where every observed factor can be carefully controlled and treatment allocation is (usually) randomized. When designing the most appropriate methodology for an evaluation, researchers need to account for uncontrollable and sometimes unobservable factors. In project or programme evaluations for example, the format of the programme itself can prevent randomization, causing additional selection biases which need to be accounted for.

For the evaluation of the PAPAFPA and PAPAC programmes, the research team was faced with the following challenges:

1. Absence of baseline data

Absence of baseline data is a relatively common issue in project and programme evaluations, although more and more organizations are now foreseeing a budget both for the baseline and endline evaluation of their programmes. However suboptimal, the issue may be partially solved through retrospective questions relying on the respondent’s recollection. For this evaluation, the research team designed a questionnaire including questions about the producer’s situation at the end of the project (at the time when the data is being collected), and also about the situation before the implementation of the programme. Note that this exercise is usually easier for beneficiaries than for nonbeneficiary individuals, since the time marker (before/after participation) is much clearer for participants than for non-participants (e.g. what was the situation in, say, 2005?).

2. Programme eligibility criteria and the resulting Selection bias

The immediate beneficiaries of both programmes were the cooperatives which had been created under the PAPAFPA programme. The producers who sold their production to the cooperatives were indirect beneficiaries to the programme. They were selected by the cooperatives through their producers’ organizations based on a set of entry requirements. This implies that the selection of candidates wasn’t randomized, but instead based on observed characteristics, resulting in a non-random treatment allocation and causing a potential selection bias among the group of beneficiaries. If the selection criteria are correlated with the outcome (which they usually are), one needs to define a methodology that will account for the selection bias and make sure that treatment and control groups are comparable. Otherwise, there is no guarantee that the estimated difference in outcome between treatment and control is due to the treatment (and only the treatment), as it could potentially also be explained by the difference in initial selection criteria.

Accepting the hypothesis that selection bias is mostly based on observed characteristics, the most commonly used techniques to account for bias are matching methods. Matching methods, as their name suggests, couple beneficiary and nonbeneficiary units (such as families, households and plots) based on observed characteristics. The technique does not account for any unobserved factors affecting participation.

The IFAD research team chose to use the Propensity-Score-Matching technique, which involves only comparing treatment and control households that are matched according to baseline and target variables. In practice, this included variables linked to the probability of inclusion, along with the level of certain outcome variables (e.g. level of production; level of income) at baseline (pre-project).

3. Incomplete list of beneficiaries and Multiple Treatments

In order to match beneficiary producers with nonbeneficiary ones, the research team needed a complete list of project participants, as well as the treatment received by each. The beneficiary group included producers from the three value chains (cacao, coffee and pepper) who had benefited from both the PAPAFPA and PAPAC programmes, as well as producers who only benefited from the PAPAC programme.

However, not all four cooperatives managed to provide the full list of beneficiary producers, indicating the extent of support received and the producers’ organizations to which they belonged.

4. Finding a sufficiently large and representative control group (and the risk of contamination)

In addition to complete data about the beneficiary group, the research team needed access to a list of communities with similar characteristics to the communities that were exposed to the projects in order to identify producers with a comparable profile to those who received the treatment at baseline. However, at the start of the evaluation such a list didn’t exist and there wasn’t any national farmers’ registry that could serve as a basis to identify potential candidates for the control group.

An additional challenge was related to the programmes’ geographical coverage and the potential spillover effects to neighbouring nonbeneficiary communities. Overall, a total of 108 communities benefited from the two projects. Due to the nature of the programme and its interventions, there is a real possibility of spillover effects from beneficiary communities to the nonbeneficiary neighbouring communities. The islands of São Tomé and Príncipe are small and people know each other well. Most people have family living in a nearby community and our experience in the field showed that people move around a lot from one community to another. These neighbouring communities therefore cannot be considered within the control group, since they might have indirectly benefited from the programmes.


Considering the initial challenges, the IFAD team conducted preliminary visits to the field in order to consolidate the cooperatives’ lists of beneficiaries and identify, together with specialists from the Project Implementation Team and the cooperatives’ leaders, the communities that were eligible to enter the control group. From this initial exercise, only 36 “pure” eligible control communities were identified.[4] Considering that a sufficient number of nonbeneficiary farmers from these 36 communities had to be matched with beneficiary farmers from each of the three value chains in order for the Propensity-Score-Matching to ensure common support [5], there was a real risk of not reaching a sufficiently large control group. However, this hypothesis could only be confirmed or refuted after an initial enumeration exercise among treatment and control communities.

Fig. 2: Field Coordinator Pauline Mauclet (middle) discussing the field logistics with data collection team supervisors Constancio Da Graça Neto (left) and Osvaldo Madre Deus Bastos (right).

As part of the impact assessment and prior to the quantitative data collection, PlanEval’s data collection team conducted a detailed enumeration exercise to obtain a listing all households living in the treatment and control communities (over 5.000 households). Based on this listing, the IFAD team obtained an inventory of all producer households from both the treatment and control communities. The listing also collected basic information on the profile of each producer household, which was then used to perform the matching exercise for each of the three value chains.

The matching exercise turned out successful and a final sample was set up, composed of 1.687 households (799 treated; 800 untreated). In order to guarantee enough common support (max. 6% attrition bias), the data collection team was asked to collect data from a minimum of 700 treated and 800 control observations. Note that some control observations were used for more than one treated observation.

Both the listing exercise and the survey turned out to be extremely challenging considering the local conditions. Our data collection team, supervised by a team of remarkable team supervisors, conducted the listing exercise in the most remote communities of the island, as well as in larger communities such as São João dos Angolares, a vast and confusing community to those who don’t know their way through its small pathways. By the time the data collection team was applying the survey, the rainy season had started and access to the communities got more difficult. Once again, the experience of our data collection team, this time of our drivers, was essential to the evaluation’s success. Muddy roads, steep cliffs and fallen trees. They knew what to expect and were prepared for anything.

Fig. 3: Difficult road conditions.

As if muddy roads and heavy rains weren’t enough, the survey took place during the country’s legislative and municipal election season. Not exactly the most recommended period to conduct a survey, since election campaigners are known to visit the communities and offer alcohol to its inhabitants. If our data collection team got confounded with campaigners from a party that wasn’t supported by the community, there was a risk for things to get violent. Aware of these risks, we decided to provide the data collection team with a neutral white uniform, clearly showing our company’s logo and the name of the programmes PAPAFPA and PAPAC. We also decided, together with the field supervisors, to test out the best time to visit the communities. It turned out that the morning and the early afternoon were most recommendable, as the campaign activities usually took place in the afternoon. The day before and after the election, the data collection activities were suspended as a precautionary measure. At any time, we were ready to suspend the activities if the situation got too heated. However, taking the necessary measures, our data collection team didn’t encounter any difficulties to conduct the survey as a result of the elections.

Fig. 4: Conducting the survey in São Tomé’s most remote villages.

After three months and a half in the field, PlanEval’s data collection team successfully applied the final (approx. 2.5 – 3h long) household questionnaire and provided the IFAD team with the cleaned database. I encourage you to take a look at IFAD’s final evaluation report, which can be accessed through the following link: https://www.ifad.org/en/web/knowledge/publication/asset/41116368  .


[1] Out of a total of 90 potentially eligible communities, 14 were identified as counterfactual communities by more than one cooperative (therefore double counted); 14 other communities overlapped with the domain of other cooperatives; 26 communities received support from a cooperative, but at a low intensity; and 36 communities never benefited from either programmes (the “pure” communities).

[2] The common support condition ensures that treatment observations have comparison observations “nearby” in the propensity score distribution (Heckman, LaLonde, and Smith, 1999).

[3] In recent years, more attention has been given to tourism. The recent discovery of natural resources at its shores has also opened new perspectives for the future.

[4] The programme helped the cooperatives form agreements with international private sector buyers.

[5] Unlike for the production of cacao, pepper was introduced into the country’s agricultural sector by the programme. The production of organic pepper was almost inexistent before PAPAFPA.

Como são formuladas as agendas governamentais e a influência dos estudos avaliativos sobre esse processo

CC License

O ciclo de políticas públicas é uma maneira de simplificar o entendimento sobre a formulação de políticas públicas (policy-making) por meio de um processo inter-relacionado composto de 5 fases: definição da agenda, formulação, tomada de decisão, implementação e avaliação/monitoramento.

O ciclo, apesar de útil para reconhecer as fases, não representa linearidade entre elas, uma vez que as fases podem se sobrepor, ou mesmo terem sua ordem alterada. Como exemplo, podemos pensar que durante o processo de formação da agenda (agenda-setting) para que o formulador possa identificar um problema, ele pode fazer uso de pesquisas avaliativas já realizadas, ou mesmo encomendar uma pesquisa diagnóstica para identificação de problemas.

Pensando do ponto de vista da teoria de Múltiplos Fluxos (Kingdon, 2013) o processo de formulação da agenda é composto por três fluxos, os quais são responsáveis pela inserção de um tema/problema na agenda pública. Estes fluxos são: fluxo de problemas, fluxo de soluções e fluxo político, além destas outras variáveis também são consideradas neste processo: a identificação de uma janela de oportunidade e a atuação dos empreendedores de políticas.

Imagem 1 – O Modelo de Múltiplos Fluxos

Autor: Capella (2007, p.32)

A compreensão sobre o fluxo de problemas é essencial para entender porque alguns problemas são relevantes para os formuladores e conseguem adentrar a agenda, enquanto outros não. A teoria dos Múltiplos Fluxos auxilia na compreensão deste processo de escolha.

É o primeiro fluxo, o fluxo de problemas, que delimita a diferença conceitual entre uma questão e um problema. Existem inúmeras questões, mas apenas aquelas que chamam a atenção dos formuladores, e que são consideradas por eles como questões passíveis de serem resolvidas, podem ser consideradas problemas dentro deste modelo. Portanto o mais importante, em um primeiro momento, é que a questão seja notada e por fim considerada um problema.

O reconhecimento técnico de uma questão como um problema, é feito através de: i) identificação de crises (momento em que a mídia desempenha papel importante); ii)análise de indicadores; iii) feedbacks da ação governamental.

O reconhecimento de crises, análise de indicadores, reconhecimento de eventos focalizadores e feedbacks da ação governamental (fatores que compõem o fluxo de problemas) podem ser reconhecidos pelos formuladores através de diagnósticos setoriais, relatórios de avaliação de políticas públicas ou mesmo em estudos encomendados para esta finalidade. Podemos reconhecer neste momento, através da teoria de Kingdon, a importância das pesquisas avaliativas dentro do processo de formulação da agenda.

Os diagnósticos setoriais, por exemplo, são instrumentos amplamente utilizados no processo de reconhecimento de um fluxo de problemas. O formulador pode se utilizar dos diagnósticos de Planos Municipais Setoriais como forma de mapear este fluxo.  Um diagnóstico municipal sobre a situação da Criança e do Adolescente, por exemplo, pode chamar a atenção do governo e de empreendedores de políticas em diversos setores, como educação, saúde, assistência social, cultura, e iniciar o processo que dá origem à novas propostas de ações governamentais voltadas para o bem estar e a garantia dos Direitos das Crianças e Adolescentes.

Um exemplo de estudo específico para identificação de problema durante a formulação da agenda é a Avaliação de Impacto Legislativo (AIL). Ao propor uma nova política pública no legislativo, a AIL deve demonstrar o fluxo de problemas que levou à proposição de uma nova política. O projeto de Lei para implementar a obrigatoriedade da Análise do Impacto Legislativo (AIL) – já apresentado neste post – propõe que para a criação de uma lei, que institua uma nova política pública, o fluxo de problemas deve ser demonstrado em uma avaliação de impacto, na qual obrigatoriamente deve conter uma síntese qualitativa e quantitativa do problema ou da situação que reclama providências.

Outra possibilidade de identificação do fluxo de problemas é se utilizar de avaliações de políticas públicas (feedbacks governamentais) que tenham identificado dentro dos seus resultados a possibilidade de ação futura sobre outras questões não contempladas pela política avaliada, reconhecendo-as como novos problemas públicos.  

A demonstração do fluxo de problemas a partir de uma avaliação específica, ou de outras avaliações/diagnósticos secundários legitimam a necessidade de ação sobre uma questão, dando embasamento empírico e teórico para o momento da tomada de decisão.  Uma vez que algum instrumento avaliativo possibilita o reconhecimento de uma questão como problema, ele viabiliza o primeiro passo de construção da agenda.

A partir desta análise é possível compreender como estudos avaliativos e diagnósticos de políticas públicas, se alinhados e comprometidos com o interesse público, quando consultados durante o processo de formulação da agenda, podem e devem influenciar positivamente na inclusão de temas socialmente relevantes na agenda do governo.

Referências

KINGDON. Agendas, Alternatives, and Public Policies, Updated Edition, with an Epilogue on Health Care’-Pearson, 2ND Edition, Ed. Pearson, 2013 (Original – 1984) .

CAPELLA, A. C. N. Perspectivas teóricas sobre o processo de formulação de políticas públicas. In: HOCHMAN, G. et al. (Org.). Políticas públicas no Brasil. Rio de Janeiro: Fiocruz, 2007. p. 87-121 Disponível em: <https://perguntasaopo.files.wordpress.com/2012/02/capella_2006_perspectivas-tec3b3ricas-sobre-o-processo-de-formulac3a7c3a3o-de-polc3adticas-pc3bablicas.pdf >

Desafios de síntese na análise qualitativa

Na condução de avaliações qualitativas, frequentemente enfrentamos o desafio de síntese na análise, especialmente em avaliações de meio-termo, em avaliações de processos e em avaliações de resultados. Isso porque diferentemente de uma avaliação de impacto, por exemplo, esses estudos requerem um conhecimento mais detalhado do percurso do projeto, para que seja possível estabelecer relações entre as opções feitas durante a implementação e os resultados atingidos e, principalmente para poder interpretar esses resultados corretamente.

Em geral, são avaliações com grande quantidade de documentos e cujos TR exigem um número elevado entrevistas, objetivando que todos os perfis (gerentes, técnicos, beneficiários, etc.) e seus diferentes pontos de vista sejam contemplados. Assim, em se tratando de avaliações qualitativas, o desafio da análise está posto: volumes e volumes de documentos, horas e horas de entrevistas que deverão ser observados, descritos e analisados. Cabe ao avaliador tomar as decisões corretas, escolhendo bem quais dados utilizar em sua análise para que esse desafio gere bons resultados e não se tenha um trabalho excessivo cujo resultado não necessariamente corresponderá ao esforço empreendido.

“Quando você tenta localizar um sinal claro de estação de rádio através do ruído estático que preenche as vias aéreas entre os sinais, você está envolvido no processo de distinguir sinal de ruído. (…) Os dados são ruído, muito e muito ruído. Quanto mais dados, mais ruído. Big Data: ruído alto. A história que detecta, dá sentido, interpreta e explica padrões significativos nos dados é o sinal. Mas o sinal não é constante ou estático. Eles variam de acordo com o contexto e mudam com o tempo. Portanto, a busca para distinguir sinal de ruído é contínua.” (Tradução livre de Patton, 2015)

Assim, tendo experimentado algumas vezes o desafio de implementar avaliações desta natureza, separamos aqui algumas dicas que podem ajudar avaliadores a não caírem em armadilhas que comprometerão a eficiência e a qualidade da avaliação.

No que tange, aos documentos que serão analisados, combine com o contratante logo no início da avaliação:

  • Quais informações são relevantes e que devem ser repassadas à equipe de avaliação – é muito comum que os documentos sejam repassados em uma seleção prévia, acarretando em um desperdício de horas na análise de documentos irrelevantes para o próposito do estudo.
  • Como essas informações serão repassadas – o ideal é que uma pessoa fique responsável por selecionar e enviar os documentos.
  • O prazo para repasse de documentos e dados oficiais do projeto – sem isso, corre-se o risco de que informações-chave sejam enviadas após a fase de análise de documentos e coleta de informações em campo, o que certamente prejudicará a qualidade das análises.

O trabalho de campo, por sua vez, também pode fazer com que a análise e elaboração do relatório seja mais ou menos fácil para a equipe. A depender do número de entrevistados, da sua dispersão geográfica e do prazo para realização das entrevistas, poderá ser importante contar com uma equipe de entrevistadores, os quais não necessariamente se envolverão na elaboração do relatório. Se por um lado isso facilita a execução do trabalho, por outro, pode dificultar o trabalho de interpretação dos resultados e redação do relatório final. Portanto, é importante:

  • Oferecer treinamento prévio à equipe de campo, contemplando: informações sobre o projeto, sobre o perfil dos entrevistados e sua participação no projeto, eventuais armadilhas a serem evitadas, conhecimento sobre o roteiro de perguntas e o que dentro dele é mais importante, a fim de que o entrevistador possa ter autonomia em campo, sem deixar de fora questões cruciais para a avaliação.
  • Repassar aos entrevistadores o que deve ser entregue e como: áudio, transcrição ou sistematização das entrevistas.
  • Solicitar junto com a entrega (transcrição, sistematização, ou áudios das entrevistas) documento síntese que contemple as principais observações, achados e desafios enfrentados em campo.
  • Que após o campo a equipe de entrevistadores se reúna para discutir os achados de campo, antes do início da análise e elaboração do relatório.

O desafio maior reside, sem dúvidas, no trabalho de síntese e análise dessas informações, em saber distinguir entre o que é e o que não é relevante para o trabalho em curso.

Neste ponto, ainda que não existam regras e fórmulas há medidas que podem ser tomadas para facilitar este processo e, portanto, separamos algumas dicas retiradas e adaptadas do livro do Michael Quinn Patton (2015) e do Jonny Saldaña (2010), que consideramos abrangentes, úteis e que normalmente são esquecidas pelas equipes de avaliação.

Durante o campo Inicie a análise durante o trabalho de campo: ao final de cada entrevista, anote suas principais observações, as hipóteses explicativas e novas questões. Anote (e peça que a equipe de entrevistadores também o faça) os padrões que começarem a surgir, temas e relações entre eles e instrua os pesquisadores a testarem essas hipóteses, confirmando-as ou excluindo-as ainda em campo.

Identifique e preencha as lacunas: durante o trabalho de campo, certamente surgirão novas questões, muitas delas poderão ser respondidas em campo, outras dependerão de documentação complementar. Todas essas lacunas precisam ser preenchidas ainda na fase de coleta de dados, antes do início da análise.

No início da análise Não pule a etapa descritiva: ainda que seja tentador pular direto para a interpretação dos resultados, não pule a etapa descritiva dos achados.

Ainda que seja um trabalho detalhista de sistematização, uma boa interpretação, que explique esses achados, agregue significado aos resultados e detecte padrões só pode ser feita com um bom trabalho descritivo prévio.

Leia e releia os documentos descritivos: as hipóteses e padrões começarão a emergir!

Decida sobre o uso de softwares: softwares de análise qualitativa podem ser extremamente uteis, sobretudo se a análise passará por um processo de codificação. No entanto, assegure-se que todos possuem familiaridade e estão treinados no uso do software. Caso contrário, os prejuízos podem ser maiores do que os benefícios.

Tenha clareza sobre a estratégia de análise que será utilizada: a análise qualitativa pode seguir por diversos caminhos. Ter uma estratégia clara de análise e forma de reportar os resultados desde o início ajuda a fazer escolhas sobre que informação será considerada e como será utilizada.

Durante a análise Tenha claro o propósito do estudo e as perguntas de avaliação: Deixe sempre visíveis o propósito e as perguntas de avaliação. Isso ajuda a manter a análise na direção correta!

Tenha um diário de análise: Anote todas as decisões tomadas, deixe um registro sobre o processo analítico, as ideias emergentes, encruzilhadas, falsas hipóteses, becos sem saída, “insights”. Essa documentação ajudará a trazer rigor às suas análises e a fundamentar seus argumentos.

No trabalho de análise qualitativa certamente enfrentaremos os mais diversos desafios. No entanto, se conseguirmos ser extremamente organizados, perseverantes – especialmente se for trabalhar com codificação, que pode ser desafiadora e exaustiva – flexíveis e capazes de lidar com ambiguidades, criativos e absolutamente éticos, certamente poderemos aprender a cada avaliação um pouco mais sobre o processo de avaliação qualitativa, sobre nossos objetos de estudo e, especialmente mais sobre nós mesmos!

 

 

Referências:

Patton, M. Q. (2015). Qualitative evaluation and research methods (4th ed.). Thousand Oaks, CA, US: Sage Publications, Inc.

Saldaña, J. (2009). The coding manual for qualitative researchers. Thousand Oaks, CA,: Sage Publications Ltd.

 

De “até amanhãs” a um até breve

Hoje é 10 de julho. Há exatos quatro anos vivia meu primeiro dia de trabalho na Plan. No entanto, a 21 dias de completar o quarto aniversário de empresa, me despedi de todos com um “até breve” e não um “até amanhã”. Entre o momento de apagar as luzes do escritório até chegar ao térreo, um grande vazio de ideias. Ao primeiro passo para fora do edifício, uma infinidade de lembranças que eu não sabia até então ser possível virem à mente com tanta rapidez: desde a entrevista, as perguntas que me fizeram e ver a Camila grávida já quase dando à luz, até o último e-mail que enviei a um cliente. Quase  quatro anos de muito trabalho, de aprendizados, de oportunidades e quatro anos de ver uma empresa crescer. Este post iniciado tão emotivamente é para partilhar um pouco não só do que foi a minha jornada na Plan, mas do que foi a bela jornada da Plan nesses (quase) quatro anos.

Em julho de 2014 éramos seis: chefes Fabrizio e Camila, Ana Paula no administrativo, avaliadores (e meus mentores!) Veridiana Mansour e João Martinho… e eu no cargo de pesquisadora, recém-saída da faculdade. Até o final daquele ano ainda chegariam Rafaela e Liora para completar o time. E que time diverso! Versados nas ciências sociais, nas políticas e administração públicas, no direito, na economia e nas relações internacionais. Hoje olho para os profissionais que fizeram e fazem a Plan e enxergo habilidades e conhecimentos que se complementam, profissionais comprometidos e atentos a detalhes, empenhados em sempre buscar o melhor, em sempre apresentar algo a mais, em sempre se superarem. Enfim, sempre prontos a enfrentarem os grandes desafios nas pesquisas que realizamos. E quantos desafios!

A diversidade de temas dos projetos com que trabalhamos naquele meu primeiro ano acompanhava a diversidade da qualificação dos profissionais e tal diversidade era início do que se tornariam áreas de especialidade da Plan: pesquisa socioeconômica ligada à habitação; pesquisa no âmbito do desenvolvimento infantil e de políticas educacionais; pesquisas ligadas ao desenvolvimento rural no Brasil e na África.

Vi a Plan mudar de tamanho, se expandir e se internacionalizar ainda mais. Vi duas novas estações de trabalho serem construídas ainda no escritório da Rua Tupi, vi o escritório ficar pequeno e mudarmos para um maior. Vi a Plan mudar de endereço no Brasil e ganhar também um endereço internacional. De modo análogo, vi a Plan mudar de “Plan Políticas Públicas” para “Plan Avaliação”, com direito a também nome internacional; a “Plan Eval”. Que jornada que pude acompanhar! Que alegria ter participado, ter contribuído e visto de perto tudo isso! E tenho certeza que no futuro da Plan não há senão muito trabalho, crescimento e muito sucesso!

Por fim, para além de tudo o que esse período me proporcionou profissionalmente, ficam em um lugar especial do coração os momentos divididos com os colegas de trabalho – as risadas dos almoços de sexta-feira, os tantos “Parabéns a você” que cantamos juntos e sempre meio sem graça, meio dando risada a cada aniversário de um de nós. Ficam as memórias da cumplicidade dos dias trabalhados até tarde para conseguirmos materializar nossos melhores esforços. Ficam nossas brincadeiras, nossa parca habilidade para happy hours, nossas piadas internas. Fica a memória de ter visto as famílias da Camila, da Liora e da Rafaela crescerem. Ficam as memórias das mais de vinte cidades que pude conhecer trabalhando pela Plan nesse “Brasilzão de Meu Deus”. Brasil esse que a gente aprende a conhecer, que não cansa de nos surpreender e que tanto nos ensina, sempre. Afinal, trabalhar com pesquisa é um pouco isso: aprender, ensinar e não se cansar de ser sempre surpreendido. Seja pela trajetória de cada pesquisa, seja por seus resultados.

 

Ao time da Plan, com muito carinho,

Um abraço e um até breve,

Cris

Interview with Christos Aivaliotis from the International Consulting Alliance (ICA)

Since August 2017, Plan Eval is a member of the International Consulting Alliance, an international network of consultancy firms in the Development Cooperation field. The network was created with the aim of facilitating long term partnerships between consulting actors located in development cooperation beneficiary countries and highly qualified technical specialist and development experts in different technical sectors. Since its creation in 2012, the network has grown steadily and currently counts 65 Technical and Local Members and over 26.000 experts.

Every year, the ICA holds the Annual ICA Conference. It is an opportunity for Technical and Local Members to meet in person, exchange ideas and discuss future cooperation opportunities. This year, the conference took place in Valencia, Spain. Our Executive Director, Fabrizio Rigout, participated and took the opportunity to sit down with Christos Aivaliotis, Network Manager for the ICA, to discuss the Annual Conference, the network’s annual results and the opportunities it has to offer to a company like Plan Eval.

Fabrizio and Christos Aivaliotis at the Annual ICA Conference, in April 2018.

 FABRIZIO RIGOUT: I’m here this afternoon with Christos. He is the Network Manager for the International Consulting Alliance and we are going to talk a little bit about the conference. So, first of all, how were the results?

CHRISTOS AIVALIOTIS: We’re quite happy this year, there has been a record number of participants in Valencia, Spain. Around 85 consultants coming from more than 30 different countries and representing 50 different organisations.

F: How would you describe Plan Eval’s role within the network?

CH: I would say that there is a lot of room for Plan Eval to expand its activities thanks to the use of the network, especially taking into account your technical expertise and geographical presence in Brazil. This combination offers you a very privileged position inside ICA, as you can work both as the Local Partner for Brazil, but at the same time as a Technical Partner worldwide for motoring and evaluations. As we have discussed already, Plan Eval has the characteristics of a “hybrid” member according to ICA’s internal categorization and can certainly bring on board ICA the best of both worlds – sectorial specialization and geographical expertise.

F: Can you tell us a bit more about the difference between Local Partners and Technical Partners?

CH: Yes, within our network, the International Consulting Alliance, we have two types of member organisations. On the local side, there are organisations that are based in the beneficiary countries where the developing projects take place and with a cross-sector approach, meaning they can work in many different technical areas. While, on the other hand, our technical partners work worldwide but in very specific areas of expertise.

F: What kind of opportunities does ICA offer for consultancy companies?

CH: All our members, either private companies, NGOs or even public parties, are connected through an online cooperation platform that offers them an overview of all open opportunities to work with multi-lateral or bi-lateral donors, through our daily newsletter. While there are many online services providing this, ICA differs in the sense that we are creating a community of development specialists, who can very easily identify not only new funding opportunities but the best available partners (thanks to an automatic match-making system of ICA’s platform) and experts (thanks to the ICA Database of Experts). The vast majority of our members use our platform extensively for networking and business development reasons, but a considerable amount of cooperation still takes place as well during the implementation of their projects through the exchange of expertise, sharing best practices and utilizing the physical presence of our members throughout the world.

F: As a last question, can you give us some examples partnerships that happened between companies because of participation in ICA?

CH: Actually, your timing is great, because we are always collecting the annual statistics around the time of the Annual Conference. For the past year we have had around thirty successfully interacted and implemented projects by ICA partners in all continents and across many different technical areas. A specific example I’d like to mention is a project that was awarded to two of our local partners, without the participation of a technical partner, to implement a World Bank project in China and Pakistan.

As Plan is getting more familiar with the network and its platform, we are eager to increase our involvement within the Alliance. Our presence at the Annual Conference has proven to be very productive. We have had the chance to meet with people from several technical areas such as Education, Health and Public Services and it has been very promising in terms of partnerships for Plan.