Notes from the field – Data collection for impact evaluation in challenging settings

In 2018, PlanEval contributed to the impact assessment of a project supporting smallholder producers of cacao, pepper and coffee in São Tomé and Principe, a two-island state in the Gulf of Guinea. It is Plan Eval’s second project on the African small-island state, and a first for Pauline Mauclet, researcher at Plan since 2017 and Field Coordinator for the project. In this blogpost, she reflects on some of the main challenges of collecting data for a randomized controlled trial and illustrates these challenges with the project in São Tomé and Príncipe.

About the project

Sao Tome and Principe is a small-island state located in the Gulf of Guinea at about 250 kilometers from the West-African coast. The former Portuguese colony has a long history of producing cacao. Under colonization, the Portuguese built large plantation properties, commonly called roças, for the production of cane sugar and later cacao. Although production has known ups and downs both during colonization and after, agriculture has always been the driver of the country’s economy.[1] When organic chocolate started becoming a valuable good at the beginning of the years 2000, the International Fund for Agricultural Development (IFAD) saw an opportunity to boost the country’s economy, which had suffered from the drop in (non organic) cacao prices in the 1990s. That is how the project PAPAFPA, or Participatory Smallholder Agriculture and Artisanal Fisheries Development Programme, came to light. The programme was followed and complemented by the PAPAC project (2004 – 2014). The programme interventions supported the development of an export cooperative (PAPAFPA) and facilitated the production of certified organic family plantations (PAPAC) to increase agricultural productivity, strengthen the existing producers’ associations and enhance access to markets through the provision of training, small infrastructure, as well as financial[2] and managerial support to the cooperatives. After an initial success with the cacao value chain, the programme expanded its activity and applied the same concept to the production of organic pepper and coffee and a second cacao cooperative was created.[3]


Fig. 1: “Agricultura é a base do desenvolvimento” (Agriculture is the basis of development), a slogan written on a wall in a beneficiary community.

Working in the field is rarely an easy task. Field experiments do not enjoy the same level of control as lab experiments, where every observed factor can be carefully controlled and treatment allocation is (usually) randomized. When designing the most appropriate methodology for an evaluation, researchers need to account for uncontrollable and sometimes unobservable factors. In project or programme evaluations for example, the format of the programme itself can prevent randomization, causing additional selection biases which need to be accounted for.

For the evaluation of the PAPAFPA and PAPAC programmes, the research team was faced with the following challenges:

1. Absence of baseline data

Absence of baseline data is a relatively common issue in project and programme evaluations, although more and more organizations are now foreseeing a budget both for the baseline and endline evaluation of their programmes. However suboptimal, the issue may be partially solved through retrospective questions relying on the respondent’s recollection. For this evaluation, the research team designed a questionnaire including questions about the producer’s situation at the end of the project (at the time when the data is being collected), and also about the situation before the implementation of the programme. Note that this exercise is usually easier for beneficiaries than for nonbeneficiary individuals, since the time marker (before/after participation) is much clearer for participants than for non-participants (e.g. what was the situation in, say, 2005?).

2. Programme eligibility criteria and the resulting Selection bias

The immediate beneficiaries of both programmes were the cooperatives which had been created under the PAPAFPA programme. The producers who sold their production to the cooperatives were indirect beneficiaries to the programme. They were selected by the cooperatives through their producers’ organizations based on a set of entry requirements. This implies that the selection of candidates wasn’t randomized, but instead based on observed characteristics, resulting in a non-random treatment allocation and causing a potential selection bias among the group of beneficiaries. If the selection criteria are correlated with the outcome (which they usually are), one needs to define a methodology that will account for the selection bias and make sure that treatment and control groups are comparable. Otherwise, there is no guarantee that the estimated difference in outcome between treatment and control is due to the treatment (and only the treatment), as it could potentially also be explained by the difference in initial selection criteria.

Accepting the hypothesis that selection bias is mostly based on observed characteristics, the most commonly used techniques to account for bias are matching methods. Matching methods, as their name suggests, couple beneficiary and nonbeneficiary units (such as families, households and plots) based on observed characteristics. The technique does not account for any unobserved factors affecting participation.

The IFAD research team chose to use the Propensity-Score-Matching technique, which involves only comparing treatment and control households that are matched according to baseline and target variables. In practice, this included variables linked to the probability of inclusion, along with the level of certain outcome variables (e.g. level of production; level of income) at baseline (pre-project).

3. Incomplete list of beneficiaries and Multiple Treatments

In order to match beneficiary producers with nonbeneficiary ones, the research team needed a complete list of project participants, as well as the treatment received by each. The beneficiary group included producers from the three value chains (cacao, coffee and pepper) who had benefited from both the PAPAFPA and PAPAC programmes, as well as producers who only benefited from the PAPAC programme.

However, not all four cooperatives managed to provide the full list of beneficiary producers, indicating the extent of support received and the producers’ organizations to which they belonged.

4. Finding a sufficiently large and representative control group (and the risk of contamination)

In addition to complete data about the beneficiary group, the research team needed access to a list of communities with similar characteristics to the communities that were exposed to the projects in order to identify producers with a comparable profile to those who received the treatment at baseline. However, at the start of the evaluation such a list didn’t exist and there wasn’t any national farmers’ registry that could serve as a basis to identify potential candidates for the control group.

An additional challenge was related to the programmes’ geographical coverage and the potential spillover effects to neighbouring nonbeneficiary communities. Overall, a total of 108 communities benefited from the two projects. Due to the nature of the programme and its interventions, there is a real possibility of spillover effects from beneficiary communities to the nonbeneficiary neighbouring communities. The islands of São Tomé and Príncipe are small and people know each other well. Most people have family living in a nearby community and our experience in the field showed that people move around a lot from one community to another. These neighbouring communities therefore cannot be considered within the control group, since they might have indirectly benefited from the programmes.


Considering the initial challenges, the IFAD team conducted preliminary visits to the field in order to consolidate the cooperatives’ lists of beneficiaries and identify, together with specialists from the Project Implementation Team and the cooperatives’ leaders, the communities that were eligible to enter the control group. From this initial exercise, only 36 “pure” eligible control communities were identified.[4] Considering that a sufficient number of nonbeneficiary farmers from these 36 communities had to be matched with beneficiary farmers from each of the three value chains in order for the Propensity-Score-Matching to ensure common support [5], there was a real risk of not reaching a sufficiently large control group. However, this hypothesis could only be confirmed or refuted after an initial enumeration exercise among treatment and control communities.

Fig. 2: Field Coordinator Pauline Mauclet (middle) discussing the field logistics with data collection team supervisors Constancio Da Graça Neto (left) and Osvaldo Madre Deus Bastos (right).

As part of the impact assessment and prior to the quantitative data collection, PlanEval’s data collection team conducted a detailed enumeration exercise to obtain a listing all households living in the treatment and control communities (over 5.000 households). Based on this listing, the IFAD team obtained an inventory of all producer households from both the treatment and control communities. The listing also collected basic information on the profile of each producer household, which was then used to perform the matching exercise for each of the three value chains.

The matching exercise turned out successful and a final sample was set up, composed of 1.687 households (799 treated; 800 untreated). In order to guarantee enough common support (max. 6% attrition bias), the data collection team was asked to collect data from a minimum of 700 treated and 800 control observations. Note that some control observations were used for more than one treated observation.

Both the listing exercise and the survey turned out to be extremely challenging considering the local conditions. Our data collection team, supervised by a team of remarkable team supervisors, conducted the listing exercise in the most remote communities of the island, as well as in larger communities such as São João dos Angolares, a vast and confusing community to those who don’t know their way through its small pathways. By the time the data collection team was applying the survey, the rainy season had started and access to the communities got more difficult. Once again, the experience of our data collection team, this time of our drivers, was essential to the evaluation’s success. Muddy roads, steep cliffs and fallen trees. They knew what to expect and were prepared for anything.

Fig. 3: Difficult road conditions.

As if muddy roads and heavy rains weren’t enough, the survey took place during the country’s legislative and municipal election season. Not exactly the most recommended period to conduct a survey, since election campaigners are known to visit the communities and offer alcohol to its inhabitants. If our data collection team got confounded with campaigners from a party that wasn’t supported by the community, there was a risk for things to get violent. Aware of these risks, we decided to provide the data collection team with a neutral white uniform, clearly showing our company’s logo and the name of the programmes PAPAFPA and PAPAC. We also decided, together with the field supervisors, to test out the best time to visit the communities. It turned out that the morning and the early afternoon were most recommendable, as the campaign activities usually took place in the afternoon. The day before and after the election, the data collection activities were suspended as a precautionary measure. At any time, we were ready to suspend the activities if the situation got too heated. However, taking the necessary measures, our data collection team didn’t encounter any difficulties to conduct the survey as a result of the elections.

Fig. 4: Conducting the survey in São Tomé’s most remote villages.

After three months and a half in the field, PlanEval’s data collection team successfully applied the final (approx. 2.5 – 3h long) household questionnaire and provided the IFAD team with the cleaned database. I encourage you to take a look at IFAD’s final evaluation report, which can be accessed through the following link: https://www.ifad.org/en/web/knowledge/publication/asset/41116368  .


[1] Out of a total of 90 potentially eligible communities, 14 were identified as counterfactual communities by more than one cooperative (therefore double counted); 14 other communities overlapped with the domain of other cooperatives; 26 communities received support from a cooperative, but at a low intensity; and 36 communities never benefited from either programmes (the “pure” communities).

[2] The common support condition ensures that treatment observations have comparison observations “nearby” in the propensity score distribution (Heckman, LaLonde, and Smith, 1999).

[3] In recent years, more attention has been given to tourism. The recent discovery of natural resources at its shores has also opened new perspectives for the future.

[4] The programme helped the cooperatives form agreements with international private sector buyers.

[5] Unlike for the production of cacao, pepper was introduced into the country’s agricultural sector by the programme. The production of organic pepper was almost inexistent before PAPAFPA.

Como são formuladas as agendas governamentais e a influência dos estudos avaliativos sobre esse processo

CC License

O ciclo de políticas públicas é uma maneira de simplificar o entendimento sobre a formulação de políticas públicas (policy-making) por meio de um processo inter-relacionado composto de 5 fases: definição da agenda, formulação, tomada de decisão, implementação e avaliação/monitoramento.

O ciclo, apesar de útil para reconhecer as fases, não representa linearidade entre elas, uma vez que as fases podem se sobrepor, ou mesmo terem sua ordem alterada. Como exemplo, podemos pensar que durante o processo de formação da agenda (agenda-setting) para que o formulador possa identificar um problema, ele pode fazer uso de pesquisas avaliativas já realizadas, ou mesmo encomendar uma pesquisa diagnóstica para identificação de problemas.

Pensando do ponto de vista da teoria de Múltiplos Fluxos (Kingdon, 2013) o processo de formulação da agenda é composto por três fluxos, os quais são responsáveis pela inserção de um tema/problema na agenda pública. Estes fluxos são: fluxo de problemas, fluxo de soluções e fluxo político, além destas outras variáveis também são consideradas neste processo: a identificação de uma janela de oportunidade e a atuação dos empreendedores de políticas.

Imagem 1 – O Modelo de Múltiplos Fluxos

Autor: Capella (2007, p.32)

A compreensão sobre o fluxo de problemas é essencial para entender porque alguns problemas são relevantes para os formuladores e conseguem adentrar a agenda, enquanto outros não. A teoria dos Múltiplos Fluxos auxilia na compreensão deste processo de escolha.

É o primeiro fluxo, o fluxo de problemas, que delimita a diferença conceitual entre uma questão e um problema. Existem inúmeras questões, mas apenas aquelas que chamam a atenção dos formuladores, e que são consideradas por eles como questões passíveis de serem resolvidas, podem ser consideradas problemas dentro deste modelo. Portanto o mais importante, em um primeiro momento, é que a questão seja notada e por fim considerada um problema.

O reconhecimento técnico de uma questão como um problema, é feito através de: i) identificação de crises (momento em que a mídia desempenha papel importante); ii)análise de indicadores; iii) feedbacks da ação governamental.

O reconhecimento de crises, análise de indicadores, reconhecimento de eventos focalizadores e feedbacks da ação governamental (fatores que compõem o fluxo de problemas) podem ser reconhecidos pelos formuladores através de diagnósticos setoriais, relatórios de avaliação de políticas públicas ou mesmo em estudos encomendados para esta finalidade. Podemos reconhecer neste momento, através da teoria de Kingdon, a importância das pesquisas avaliativas dentro do processo de formulação da agenda.

Os diagnósticos setoriais, por exemplo, são instrumentos amplamente utilizados no processo de reconhecimento de um fluxo de problemas. O formulador pode se utilizar dos diagnósticos de Planos Municipais Setoriais como forma de mapear este fluxo.  Um diagnóstico municipal sobre a situação da Criança e do Adolescente, por exemplo, pode chamar a atenção do governo e de empreendedores de políticas em diversos setores, como educação, saúde, assistência social, cultura, e iniciar o processo que dá origem à novas propostas de ações governamentais voltadas para o bem estar e a garantia dos Direitos das Crianças e Adolescentes.

Um exemplo de estudo específico para identificação de problema durante a formulação da agenda é a Avaliação de Impacto Legislativo (AIL). Ao propor uma nova política pública no legislativo, a AIL deve demonstrar o fluxo de problemas que levou à proposição de uma nova política. O projeto de Lei para implementar a obrigatoriedade da Análise do Impacto Legislativo (AIL) – já apresentado neste post – propõe que para a criação de uma lei, que institua uma nova política pública, o fluxo de problemas deve ser demonstrado em uma avaliação de impacto, na qual obrigatoriamente deve conter uma síntese qualitativa e quantitativa do problema ou da situação que reclama providências.

Outra possibilidade de identificação do fluxo de problemas é se utilizar de avaliações de políticas públicas (feedbacks governamentais) que tenham identificado dentro dos seus resultados a possibilidade de ação futura sobre outras questões não contempladas pela política avaliada, reconhecendo-as como novos problemas públicos.  

A demonstração do fluxo de problemas a partir de uma avaliação específica, ou de outras avaliações/diagnósticos secundários legitimam a necessidade de ação sobre uma questão, dando embasamento empírico e teórico para o momento da tomada de decisão.  Uma vez que algum instrumento avaliativo possibilita o reconhecimento de uma questão como problema, ele viabiliza o primeiro passo de construção da agenda.

A partir desta análise é possível compreender como estudos avaliativos e diagnósticos de políticas públicas, se alinhados e comprometidos com o interesse público, quando consultados durante o processo de formulação da agenda, podem e devem influenciar positivamente na inclusão de temas socialmente relevantes na agenda do governo.

Referências

KINGDON. Agendas, Alternatives, and Public Policies, Updated Edition, with an Epilogue on Health Care’-Pearson, 2ND Edition, Ed. Pearson, 2013 (Original – 1984) .

CAPELLA, A. C. N. Perspectivas teóricas sobre o processo de formulação de políticas públicas. In: HOCHMAN, G. et al. (Org.). Políticas públicas no Brasil. Rio de Janeiro: Fiocruz, 2007. p. 87-121 Disponível em: <https://perguntasaopo.files.wordpress.com/2012/02/capella_2006_perspectivas-tec3b3ricas-sobre-o-processo-de-formulac3a7c3a3o-de-polc3adticas-pc3bablicas.pdf >

Desafios de síntese na análise qualitativa

Na condução de avaliações qualitativas, frequentemente enfrentamos o desafio de síntese na análise, especialmente em avaliações de meio-termo, em avaliações de processos e em avaliações de resultados. Isso porque diferentemente de uma avaliação de impacto, por exemplo, esses estudos requerem um conhecimento mais detalhado do percurso do projeto, para que seja possível estabelecer relações entre as opções feitas durante a implementação e os resultados atingidos e, principalmente para poder interpretar esses resultados corretamente.

Em geral, são avaliações com grande quantidade de documentos e cujos TR exigem um número elevado entrevistas, objetivando que todos os perfis (gerentes, técnicos, beneficiários, etc.) e seus diferentes pontos de vista sejam contemplados. Assim, em se tratando de avaliações qualitativas, o desafio da análise está posto: volumes e volumes de documentos, horas e horas de entrevistas que deverão ser observados, descritos e analisados. Cabe ao avaliador tomar as decisões corretas, escolhendo bem quais dados utilizar em sua análise para que esse desafio gere bons resultados e não se tenha um trabalho excessivo cujo resultado não necessariamente corresponderá ao esforço empreendido.

“Quando você tenta localizar um sinal claro de estação de rádio através do ruído estático que preenche as vias aéreas entre os sinais, você está envolvido no processo de distinguir sinal de ruído. (…) Os dados são ruído, muito e muito ruído. Quanto mais dados, mais ruído. Big Data: ruído alto. A história que detecta, dá sentido, interpreta e explica padrões significativos nos dados é o sinal. Mas o sinal não é constante ou estático. Eles variam de acordo com o contexto e mudam com o tempo. Portanto, a busca para distinguir sinal de ruído é contínua.” (Tradução livre de Patton, 2015)

Assim, tendo experimentado algumas vezes o desafio de implementar avaliações desta natureza, separamos aqui algumas dicas que podem ajudar avaliadores a não caírem em armadilhas que comprometerão a eficiência e a qualidade da avaliação.

No que tange, aos documentos que serão analisados, combine com o contratante logo no início da avaliação:

  • Quais informações são relevantes e que devem ser repassadas à equipe de avaliação – é muito comum que os documentos sejam repassados em uma seleção prévia, acarretando em um desperdício de horas na análise de documentos irrelevantes para o próposito do estudo.
  • Como essas informações serão repassadas – o ideal é que uma pessoa fique responsável por selecionar e enviar os documentos.
  • O prazo para repasse de documentos e dados oficiais do projeto – sem isso, corre-se o risco de que informações-chave sejam enviadas após a fase de análise de documentos e coleta de informações em campo, o que certamente prejudicará a qualidade das análises.

O trabalho de campo, por sua vez, também pode fazer com que a análise e elaboração do relatório seja mais ou menos fácil para a equipe. A depender do número de entrevistados, da sua dispersão geográfica e do prazo para realização das entrevistas, poderá ser importante contar com uma equipe de entrevistadores, os quais não necessariamente se envolverão na elaboração do relatório. Se por um lado isso facilita a execução do trabalho, por outro, pode dificultar o trabalho de interpretação dos resultados e redação do relatório final. Portanto, é importante:

  • Oferecer treinamento prévio à equipe de campo, contemplando: informações sobre o projeto, sobre o perfil dos entrevistados e sua participação no projeto, eventuais armadilhas a serem evitadas, conhecimento sobre o roteiro de perguntas e o que dentro dele é mais importante, a fim de que o entrevistador possa ter autonomia em campo, sem deixar de fora questões cruciais para a avaliação.
  • Repassar aos entrevistadores o que deve ser entregue e como: áudio, transcrição ou sistematização das entrevistas.
  • Solicitar junto com a entrega (transcrição, sistematização, ou áudios das entrevistas) documento síntese que contemple as principais observações, achados e desafios enfrentados em campo.
  • Que após o campo a equipe de entrevistadores se reúna para discutir os achados de campo, antes do início da análise e elaboração do relatório.

O desafio maior reside, sem dúvidas, no trabalho de síntese e análise dessas informações, em saber distinguir entre o que é e o que não é relevante para o trabalho em curso.

Neste ponto, ainda que não existam regras e fórmulas há medidas que podem ser tomadas para facilitar este processo e, portanto, separamos algumas dicas retiradas e adaptadas do livro do Michael Quinn Patton (2015) e do Jonny Saldaña (2010), que consideramos abrangentes, úteis e que normalmente são esquecidas pelas equipes de avaliação.

Durante o campo Inicie a análise durante o trabalho de campo: ao final de cada entrevista, anote suas principais observações, as hipóteses explicativas e novas questões. Anote (e peça que a equipe de entrevistadores também o faça) os padrões que começarem a surgir, temas e relações entre eles e instrua os pesquisadores a testarem essas hipóteses, confirmando-as ou excluindo-as ainda em campo.

Identifique e preencha as lacunas: durante o trabalho de campo, certamente surgirão novas questões, muitas delas poderão ser respondidas em campo, outras dependerão de documentação complementar. Todas essas lacunas precisam ser preenchidas ainda na fase de coleta de dados, antes do início da análise.

No início da análise Não pule a etapa descritiva: ainda que seja tentador pular direto para a interpretação dos resultados, não pule a etapa descritiva dos achados.

Ainda que seja um trabalho detalhista de sistematização, uma boa interpretação, que explique esses achados, agregue significado aos resultados e detecte padrões só pode ser feita com um bom trabalho descritivo prévio.

Leia e releia os documentos descritivos: as hipóteses e padrões começarão a emergir!

Decida sobre o uso de softwares: softwares de análise qualitativa podem ser extremamente uteis, sobretudo se a análise passará por um processo de codificação. No entanto, assegure-se que todos possuem familiaridade e estão treinados no uso do software. Caso contrário, os prejuízos podem ser maiores do que os benefícios.

Tenha clareza sobre a estratégia de análise que será utilizada: a análise qualitativa pode seguir por diversos caminhos. Ter uma estratégia clara de análise e forma de reportar os resultados desde o início ajuda a fazer escolhas sobre que informação será considerada e como será utilizada.

Durante a análise Tenha claro o propósito do estudo e as perguntas de avaliação: Deixe sempre visíveis o propósito e as perguntas de avaliação. Isso ajuda a manter a análise na direção correta!

Tenha um diário de análise: Anote todas as decisões tomadas, deixe um registro sobre o processo analítico, as ideias emergentes, encruzilhadas, falsas hipóteses, becos sem saída, “insights”. Essa documentação ajudará a trazer rigor às suas análises e a fundamentar seus argumentos.

No trabalho de análise qualitativa certamente enfrentaremos os mais diversos desafios. No entanto, se conseguirmos ser extremamente organizados, perseverantes – especialmente se for trabalhar com codificação, que pode ser desafiadora e exaustiva – flexíveis e capazes de lidar com ambiguidades, criativos e absolutamente éticos, certamente poderemos aprender a cada avaliação um pouco mais sobre o processo de avaliação qualitativa, sobre nossos objetos de estudo e, especialmente mais sobre nós mesmos!

 

 

Referências:

Patton, M. Q. (2015). Qualitative evaluation and research methods (4th ed.). Thousand Oaks, CA, US: Sage Publications, Inc.

Saldaña, J. (2009). The coding manual for qualitative researchers. Thousand Oaks, CA,: Sage Publications Ltd.

 

De “até amanhãs” a um até breve

Hoje é 10 de julho. Há exatos quatro anos vivia meu primeiro dia de trabalho na Plan. No entanto, a 21 dias de completar o quarto aniversário de empresa, me despedi de todos com um “até breve” e não um “até amanhã”. Entre o momento de apagar as luzes do escritório até chegar ao térreo, um grande vazio de ideias. Ao primeiro passo para fora do edifício, uma infinidade de lembranças que eu não sabia até então ser possível virem à mente com tanta rapidez: desde a entrevista, as perguntas que me fizeram e ver a Camila grávida já quase dando à luz, até o último e-mail que enviei a um cliente. Quase  quatro anos de muito trabalho, de aprendizados, de oportunidades e quatro anos de ver uma empresa crescer. Este post iniciado tão emotivamente é para partilhar um pouco não só do que foi a minha jornada na Plan, mas do que foi a bela jornada da Plan nesses (quase) quatro anos.

Em julho de 2014 éramos seis: chefes Fabrizio e Camila, Ana Paula no administrativo, avaliadores (e meus mentores!) Veridiana Mansour e João Martinho… e eu no cargo de pesquisadora, recém-saída da faculdade. Até o final daquele ano ainda chegariam Rafaela e Liora para completar o time. E que time diverso! Versados nas ciências sociais, nas políticas e administração públicas, no direito, na economia e nas relações internacionais. Hoje olho para os profissionais que fizeram e fazem a Plan e enxergo habilidades e conhecimentos que se complementam, profissionais comprometidos e atentos a detalhes, empenhados em sempre buscar o melhor, em sempre apresentar algo a mais, em sempre se superarem. Enfim, sempre prontos a enfrentarem os grandes desafios nas pesquisas que realizamos. E quantos desafios!

A diversidade de temas dos projetos com que trabalhamos naquele meu primeiro ano acompanhava a diversidade da qualificação dos profissionais e tal diversidade era início do que se tornariam áreas de especialidade da Plan: pesquisa socioeconômica ligada à habitação; pesquisa no âmbito do desenvolvimento infantil e de políticas educacionais; pesquisas ligadas ao desenvolvimento rural no Brasil e na África.

Vi a Plan mudar de tamanho, se expandir e se internacionalizar ainda mais. Vi duas novas estações de trabalho serem construídas ainda no escritório da Rua Tupi, vi o escritório ficar pequeno e mudarmos para um maior. Vi a Plan mudar de endereço no Brasil e ganhar também um endereço internacional. De modo análogo, vi a Plan mudar de “Plan Políticas Públicas” para “Plan Avaliação”, com direito a também nome internacional; a “Plan Eval”. Que jornada que pude acompanhar! Que alegria ter participado, ter contribuído e visto de perto tudo isso! E tenho certeza que no futuro da Plan não há senão muito trabalho, crescimento e muito sucesso!

Por fim, para além de tudo o que esse período me proporcionou profissionalmente, ficam em um lugar especial do coração os momentos divididos com os colegas de trabalho – as risadas dos almoços de sexta-feira, os tantos “Parabéns a você” que cantamos juntos e sempre meio sem graça, meio dando risada a cada aniversário de um de nós. Ficam as memórias da cumplicidade dos dias trabalhados até tarde para conseguirmos materializar nossos melhores esforços. Ficam nossas brincadeiras, nossa parca habilidade para happy hours, nossas piadas internas. Fica a memória de ter visto as famílias da Camila, da Liora e da Rafaela crescerem. Ficam as memórias das mais de vinte cidades que pude conhecer trabalhando pela Plan nesse “Brasilzão de Meu Deus”. Brasil esse que a gente aprende a conhecer, que não cansa de nos surpreender e que tanto nos ensina, sempre. Afinal, trabalhar com pesquisa é um pouco isso: aprender, ensinar e não se cansar de ser sempre surpreendido. Seja pela trajetória de cada pesquisa, seja por seus resultados.

 

Ao time da Plan, com muito carinho,

Um abraço e um até breve,

Cris

Interview with Christos Aivaliotis from the International Consulting Alliance (ICA)

Since August 2017, Plan Eval is a member of the International Consulting Alliance, an international network of consultancy firms in the Development Cooperation field. The network was created with the aim of facilitating long term partnerships between consulting actors located in development cooperation beneficiary countries and highly qualified technical specialist and development experts in different technical sectors. Since its creation in 2012, the network has grown steadily and currently counts 65 Technical and Local Members and over 26.000 experts.

Every year, the ICA holds the Annual ICA Conference. It is an opportunity for Technical and Local Members to meet in person, exchange ideas and discuss future cooperation opportunities. This year, the conference took place in Valencia, Spain. Our Executive Director, Fabrizio Rigout, participated and took the opportunity to sit down with Christos Aivaliotis, Network Manager for the ICA, to discuss the Annual Conference, the network’s annual results and the opportunities it has to offer to a company like Plan Eval.

Fabrizio and Christos Aivaliotis at the Annual ICA Conference, in April 2018.

 FABRIZIO RIGOUT: I’m here this afternoon with Christos. He is the Network Manager for the International Consulting Alliance and we are going to talk a little bit about the conference. So, first of all, how were the results?

CHRISTOS AIVALIOTIS: We’re quite happy this year, there has been a record number of participants in Valencia, Spain. Around 85 consultants coming from more than 30 different countries and representing 50 different organisations.

F: How would you describe Plan Eval’s role within the network?

CH: I would say that there is a lot of room for Plan Eval to expand its activities thanks to the use of the network, especially taking into account your technical expertise and geographical presence in Brazil. This combination offers you a very privileged position inside ICA, as you can work both as the Local Partner for Brazil, but at the same time as a Technical Partner worldwide for motoring and evaluations. As we have discussed already, Plan Eval has the characteristics of a “hybrid” member according to ICA’s internal categorization and can certainly bring on board ICA the best of both worlds – sectorial specialization and geographical expertise.

F: Can you tell us a bit more about the difference between Local Partners and Technical Partners?

CH: Yes, within our network, the International Consulting Alliance, we have two types of member organisations. On the local side, there are organisations that are based in the beneficiary countries where the developing projects take place and with a cross-sector approach, meaning they can work in many different technical areas. While, on the other hand, our technical partners work worldwide but in very specific areas of expertise.

F: What kind of opportunities does ICA offer for consultancy companies?

CH: All our members, either private companies, NGOs or even public parties, are connected through an online cooperation platform that offers them an overview of all open opportunities to work with multi-lateral or bi-lateral donors, through our daily newsletter. While there are many online services providing this, ICA differs in the sense that we are creating a community of development specialists, who can very easily identify not only new funding opportunities but the best available partners (thanks to an automatic match-making system of ICA’s platform) and experts (thanks to the ICA Database of Experts). The vast majority of our members use our platform extensively for networking and business development reasons, but a considerable amount of cooperation still takes place as well during the implementation of their projects through the exchange of expertise, sharing best practices and utilizing the physical presence of our members throughout the world.

F: As a last question, can you give us some examples partnerships that happened between companies because of participation in ICA?

CH: Actually, your timing is great, because we are always collecting the annual statistics around the time of the Annual Conference. For the past year we have had around thirty successfully interacted and implemented projects by ICA partners in all continents and across many different technical areas. A specific example I’d like to mention is a project that was awarded to two of our local partners, without the participation of a technical partner, to implement a World Bank project in China and Pakistan.

As Plan is getting more familiar with the network and its platform, we are eager to increase our involvement within the Alliance. Our presence at the Annual Conference has proven to be very productive. We have had the chance to meet with people from several technical areas such as Education, Health and Public Services and it has been very promising in terms of partnerships for Plan.

Avaliação de Impacto Legislativo – O Projeto de Lei nº 488/2017

Recentemente, em abril/2018, o Senado aprovou o projeto de lei nº 488/2017, que pretende implementar a Avaliação de Impacto Legislativo (AIL) como requisito obrigatório na aprovação de matérias legislativas que instituam novas políticas públicas. Ou seja, toda proposição de política pública deve vir acompanhada de uma prévia avaliação de seu impacto para o governo e para sociedade.

O propósito da avaliação de impacto legislativo é verificar os impactos da aplicação de uma legislação, tanto do ponto de vista econômico e financeiro quanto do ponto de vista social.  Meneguin (2010, p.7) em um texto publicado pela revista do Senado em 2010 explicita que o principal objetivo desta avaliação é verificar sua eficácia, efetividade e eficiência. Ela deve apurar se o comportamento dos destinatários da norma é adequado, se a maneira como o texto está formulado concorre para que os objetivos sejam alcançados, e se os benefícios decorrentes da lei compensarão os custos que acarretará.

O Projeto Lei nº 488/2017, em seu artigo 14-C explicita que a AIL deverá contar com um parecer sobre a constitucionalidade, a juridicidade e a regularidade do ato normativo, bem como com notas explicativas que demonstrem a economicidade, a efetividade, a eficácia e a eficiência das medidas do projeto.

Estas notas explicativas consistem na Avaliação e Impacto Legislativo, que, se aprovada, deverá conter:

  • Síntese qualitativa e quantitativa do problema ou da situação que reclama providências;
  • Objetivos da proposição e sua vinculação com o problema definido;
  • Alternativas existentes para a solução do problema identificado, com respectiva previsão dos impactos econômicos e sociais, justificando a escolha da solução ou providência contida no projeto proposto, com comparação das análises de custo-benefício global de cada alternativa;
  • Custos administrativos da solução ou providência contida no projeto proposto, caso a alternativa estabelecida na proposição entre em vigor;
  • Indicação da existência de prévia dotação orçamentária ou a fonte de recursos, quando a proposta demandar despesas, e como a ação está enquadrada no Plano Plurianual vigente.

Meneguin (2010) afirma que a AIL vai além da análise jurídica e orçamentária que eram feitas mais comumente, sendo inovadora ao propor a análise econômica e social, além da mensuração dos custos administrativos da solução que irá se desdobrar em uma política pública.

O ato de avaliar um projeto de lei antes mesmo de sua aprovação (ou seja, prospectivamente) considera os efeitos que esta provavelmente produzirá, bem como consequências inesperadas pelo legislador. Assim é possível corrigir possíveis falhas do projeto e simular cenários alternativos àqueles considerados pelos deputados e senadores.

Com a AIL a decisão política tende a ficar mais transparente e embasada em dados reais do impacto do projeto. Para tanto é necessário que a avaliação ocorra de maneira imparcial e transparente.

Um dos argumentos relativos à importância da aplicação da AIL é de que ela facilitaria e embasaria a aprovação de políticas públicas, e até mesmo facilitaria a aprovação de medidas impopulares, que através da AIL conseguissem se mostrar viáveis e necessárias.

Além de uma ferramenta de avaliação, o PL 488/2017 pode ser considerado estrategicamente como um instrumento de inserção de temas na agenda do poder legislativo. Um projeto de lei avaliado a priori pode ter suas chances de aprovação ampliadas, uma vez que terá material para demonstrar sua relevância e seu impacto para o país.

O Projeto de Lei 488/2017 aguarda votação na Câmara dos Deputados, sem data definida e pode ser acessado pelo link: https://www25.senado.leg.br/web/atividade/materias/-/materia/131852

Uma boa maneira de demonstrar sua importância seria realizar uma análise de seu impacto legislativo. Será que os legisladores se animam a dar o exemplo? Vamos aguardar.

Projeto de Lei do Senado n° 488, de 2017 (complementar), disponível em <http://www2.senado.leg.br/bdsf/handle/id/182499>

Meneguin, Fernando Boarato, Avaliação de Impacto Legislativo no Brasil, Brasília : Senado Federal, Consultoria Legislativa 03/2010 25 p., disponível em < https://www25.senado.leg.br/web/atividade/materias/-/materia/131852>

O campo, no campo

Em 2013, nossa colega de trabalho Camila Cirillo fez um relato sobre a vivência de um dia de campo em assentamentos precários no Espírito Santo. Aquela foi também a minha primeira experiência como pesquisadora e foi também meu primeiro contato com outra realidade social que não a minha, na época, ainda como estagiária na Plan.

Quatro anos depois, tive a oportunidade de coordenar a pesquisa do Estudo de Linha de Base do Projeto Pró-Semiárido, projeto assinado em parceria entre o Governo da Bahia e o FIDA – Fundo Internacional de Desenvolvimento Agrícola, por intermédio da Secretaria de Desenvolvimento Rural do Estado da Bahia – SDR, tendo a CAR – Companhia de Desenvolvimento e Ação Regional como executora.  O objetivo do Pró-Semiárido é reduzir a pobreza rural por meio da geração de renda, aumentar a produção, as oportunidades de trabalho agrícola e não-agrícola e desenvolver o capital humano e social, dando especial atenção a mulheres e jovens.

O projeto iniciou suas atividades em 2015, com foco em comunidades rurais, quilombolas, fundo de pasto e indígenas de 32 municípios do Estado da Bahia.  A Plan foi contratada para realizar o Estudo da Linha de Base, por isso visitou 388 comunidades (beneficiárias e não beneficiárias) e aplicou mais de 2.500 questionários com as famílias residentes das comunidades espalhadas por 32 municípios baianos.

O desafio foi grande, mas trouxe um aprendizado ainda maior: com uma equipe de 16 pesquisadores, no dia 5 de outubro saímos de Petrolina rumo a Juazeiro para dar início à aplicação dos questionários. O primeiro obstáculo foi a logística, pois todas as comunidades ficam muito distantes do centro de suas cidades, por caminhos às vezes sem infraestrutura nenhuma e não mapeados na internet. Em algumas localidades, o carro não conseguia chegar em seu destino pois a região dominada pelos areais fazia com que o motor perdesse força. Em muitas ocasiões, o jeito era deixar os carros e seguir a pé.

Uma vez na comunidade, para obtermos uma amostra aleatória, fazíamos a contagem de todas as casas do local para podermos estimar o salto entre as residências. Por exemplo, se tivéssemos de cumprir um total de 7 questionários na comunidade e esta apresentasse 30 casas, nosso salto seria de 4 casas. Assim, escolhíamos aleatoriamente uma casa para começar a pesquisa, pulávamos as 4 próximas casas da sequência e aplicávamos a pesquisa novamente na casa de número “5”.

Mas não foi possível seguir essa metodologia em todas as comunidades, uma vez que algumas possuíam casas muito afastadas umas das outras, o que impossibilitava a contagem manual. Nesses casos, procurávamos o líder comunitário ou o agente de saúde para obter o número de domicílios da região. E aí, para a aplicação dos questionários, cada pesquisador se virava como dava. Pegava carona de moto, de jegue…

Apesar das dificuldades de uma pesquisa de campo desse tamanho, poder conhecer a região semiárida da Bahia e seus moradores foi maravilhoso. A primeira coisa que passou pela minha cabeça foi “se é tão difícil assim pra gente chegar, imagina o poder público… essas pessoas devem estar esquecidas…” e infelizmente eu não estava tão errada assim. Além das condições climáticas que afetam a população dessa região, faltam serviços básicos como saúde, transporte e segurança pública.

“Aqui a gente não acredita em político, aqui a gente conta com a fé. Porque só Deus olha por nós…”

 Morando na capital do Estado de São Paulo, é bem difícil me imaginar dividindo espaço com cabras, bodes, galinhas e porcos. No campo, a impressão que tive foi de harmonia. Além da paisagem característica do semiárido, ficou em minha memória também o seu som: o sino da cabra que orientava seu rebanho.

No questionário aplicado, perguntamos sobre as condições socioeconômicas das famílias, o tamanho de seu rebanho, produção e venda agropecuária, sua renda anual e estratégias de enfrentamento da seca. As respostas, mesmo quando amargas, não eram em tom de lamento e sim de resignação, o que, confesso, me deixava triste.

 “Ano passado eu perdi tudinho, a seca me levou tudo, não vingou nenhuma plantação.”

 “A seca castiga, moça, mas fome nós não passa não… Aqui todo mundo se ajuda, a gente troca entre nós, compra quando dá… Não é sempre que tem de tudo no prato, mas pelo menos um ovo frito no almoço nós tem.”

 “Eu tenho aqui meus cabritos mas eu não gosto de matar os bichinhos não, eu só faço isso quando não tem outro jeito mesmo”.

 “Graças a Deus, sede a gente não passa mais. Tem época que os bichos sofrem, mas aqui em casa não falta um copinho de água. Mas tem que economizar…”.

 O que mais me chamou a atenção foi a hospitalidade de todos. Mesmo na presença de desconhecidos, as famílias eram sempre muito atenciosas. Tinham ânsia por serem ouvidas e não tiravam o sorriso do rosto. Mulheres e homens marcados pelo sol que enganava suas idades abriam as portas de suas casas e nos ofereciam tudo o que estava aos seus alcances: água, café, almoço, estadia.

“Aqui a gente tem pouco, mas o pouco que tem dá pra dividir. Não me faça essa desfeita, moça!”.  E foi assim que eu saí com uma melancia nos braços.

Conhecer essas pessoas e suas realidades foi uma experiência revigorante, dessas que nos dão a sensação de que, de fato, fazemos parte do mundo. Como pesquisadora, fico grata por ter tido a oportunidade de vivenciar a prática do campo.

Para finalizar, gostaria de deixar registrado também que além de toda bagagem que adquiri nesse campo, também assisti um pôr do sol incrível, além de constatar que Luiz Gonzaga tinha razão: não há, ó gente, ó não, luar como esse do Sertão….

 

Sobre avaliação e política

Tenho visto ressurgir discussões sobre o caráter político da avaliação que, tão rapidamente quanto aparecem, se cristalizam em tomadas de posição antagônicas (quali x quanti; medição x interpretação; neutralidade x interesse) bem mais antigas que a profissão. Entendo que por esse caminho não chegaremos à compreensão de como os avaliadores podem contribuir para qualificar a política em si.

O debate ponderado sobre o mérito de políticas públicas segue sendo um dos alicerces da democracia pois traz maior racionalidade ao processo decisório dos governos, permitindo assim a formação de consensos programáticos. Ironicamente, foi empobrecido nas últimas décadas justamente quando o avanço tecnológico deveria promover a ampliação da participação e, por conseguinte, seu enriquecimento. Por quê?

Num ambiente de parti pris, o conhecimento construído de forma criteriosa e sistemática sobre os problemas sociais não elege governo. Atestado disso é o sucesso dos neopopulistas à direita e à esquerda que apostaram num discurso de senso comum, ou seja, numa verdade que parece plausível ante a experiência das pessoas, sem que necessariamente explique a realidade. Essa verdade que busca ser mais intuitiva do que propriamente veraz é o que se convencionou chamar de “narrativa”.

No âmbito da avaliação, em defesa da narrativa chega-se mesmo a afirmar que não há produção de conhecimento que não seja política. Nesta visão, todo saber seria refém de interesses. Direciona-se então a análise às relações de poder: “a quem serve” determinada sociologia, estatística, economia… sem entrar no tema de sua qualidade como saber. O estudo foi criticado por pares? Pode ser replicado? As informações estão disponíveis? Quais as fontes da informação? Há interpretações concorrentes mais plausíveis? São questões em segundo plano.

Esse reducionismo construtivista se harmoniza com a política contemporânea pois ambos tendem a desprezar a objetividade do conhecimento. O primeiro por razões epistemológicas e a segunda por conveniência, mas isso é secundário ante a consequência: a erosão progressiva da base de conhecimento comum na esfera pública. Tudo se disputa na base do princípio. Temas fundamentais para o desenvolvimento como a desigualdade, a pobreza, a inovação tecnológica, a educação, as relações trabalhistas, a boa gestão das finanças públicas, são apresentados em função de sua relação com soluções ideológicas existentes em vez de serem tratados como problemas de fundo para os quais há soluções melhores e piores, além das que ainda não conhecemos e que provavelmente serão as melhores.

O resultado mais visível desse processo é um debate travado a partir de uma crítica da perspectiva dos sujeitos decisórios, seu caráter, sua afiliação, sua personalidade, em detrimento de uma discussão franca sobre a complexidade dos objetos em questão. Outros são o enfraquecimento do aconselhamento técnico nos gabinetes do executivo em favor da publicidade, a instrumentalização dos meios de comunicação pela política, a hipertrofia do discurso emocional e do moralismo.

Um exemplo de como a avaliação pode contribuir mais para o debate político a partir de uma investigação objetiva é o caso da evolução dos programas de transferência de renda condicionada (PTRC). Após sucessivos estudos de efetividade utilizando abordagens nos mais variados formatos (“quânti”, “quáli”, “mista”, etc.), demonstrou-se que os PTRCs têm efeitos comprovados de redução da pobreza no curto prazo. No Brasil, o Bolsa Família foi um sucesso retumbante nesse aspecto. Demonstrou-se, entretanto, que o Bolsa Família não é tão eficaz para quebrar o ciclo de pobreza, pois prioriza sua dimensão monetária e deixa de lado os mecanismos de promoção da autonomia. Nisso o programa chileno Puente foi mais bem-sucedido, pois focalizou na promoção de condições necessárias para a “porta de saída”, com grande ênfase no fortalecimento dos laços familiares, sociais, acesso prioritário a serviços e principalmente o acompanhamento de um assistente social em visitas periódicas de orientação e encaminhamento.

Programas anti-pobreza são criados quando há a pressão política organizada por grupos que perdem com ela, a começar pelos próprios pobres, seja por meio do voto ou pelo engajamento em movimentos sociais. Porém, o que permite seu aperfeiçoamento é a investigação diligente de alternativas à luz do problema em questão. No plano mundial, evoluiu-se de uma visão de pobreza monetária para uma de pobreza multidimensional graças à avaliação de políticas públicas. No Brasil parece se estar alguns passos atrás. Um dos temas centrais da última campanha eleitoral, o mérito do Bolsa Família, foi tratado quase que exclusivamente em termos de ser a favor ou contra; ou seja, não foi tratado.

O avaliador tem portanto um papel central, tanto tecnocrático como pedagógico, de levar ao público a necessidade de se pensar programas em termos de efetividade, eficiência, impacto e focalização. Certamente a vasta maioria do eleitorado desconhece esses conceitos, que de complexos não têm nada, só são deixados de lado. Temos um longo caminho pela frente.

Publicado originalmente em https://goo.gl/WzaxjN

Experiências da Plan com Diagnóstico Municipal da Infância e Adolescência

Ao longo dos últimos três anos a Plan conduziu cinco Diagnósticos da Infância e Adolescência, para os municípios de Araxá, Lençóis Paulista, Jundiaí, Rio Negrinho e Tubarão.  A construção do Diagnóstico é uma diretriz nacional, determinada pelo Conselho Nacional dos Direitos da Criança e do Adolescente (CONANDA), com o objetivo de que os municípios estabeleçam um documento que avalie a situação da infância e adolescência. O objetivo central do Diagnóstico é aproximar o Poder Público Municipal e a Sociedade da realidade das crianças e adolescentes dos municípios, para assim poder pensar e formular ações e Políticas Públicas de modo mais embasado e focado nas reais necessidades, além de ter uma atuação planejada a curto, médio e longo prazo.

A construção desses cinco documentos trouxe importantes ganhos de habilidades para a Consultoria. Assim, o objetivo deste post é relatar brevemente as metodologias utilizadas e os conhecimentos adquiridos, já que a realização de alguns projetos na mesma área permitiu à Plan desenvolver um método específico de trabalho, o qual se mostrou eficiente e satisfatório.

Todos os cinco projetos foram realizados a partir de quatro etapas, sendo:

  1. Coleta de dados secundários: Indicadores e dados secundários coletados a partir de fontes oficiais (DATASUS; Fundação SEADE, IBGE; IDEB, entre outras). Sempre que possível e quando relevante, os dados municipais foram comparados aos dados do estado do município estudado e da Região de Governo relacionada;
  2. Entrevistas em profundidade com Gestores, Técnicos e Servidores de serviços, entidades e programas (governamentais e não governamentais) de atendimento à infância e adolescência;
  3. Entrevistas com crianças, adolescentes e pais residentes nos municípios, de modo a obter um amplo panorama sobre a experiência da infância e adolescência em cada uma das cidades;
  4. Coleta de dados via web das entidades não governamentais: questionário via e-mail para coleta de dados sobre os atendimentos prestados pelas entidades que atuam nos municípios junto à infância e adolescência.

Para coleta e estruturação dos dados e informações, foi tomada por base a organização do Estatuto da Criança e do Adolescente (ECA), sendo considerados os cinco níveis de proteção previstos:

  • Vida e Saúde;
  • Liberdade, Respeito e Dignidade;
  • Convivência Familiar e Comunitária;
  • Educação, Cultura, Esporte e Lazer;
  • Profissionalização e Proteção no trabalho.

A opção por organizar o Diagnóstico a partir dos cinco eixos do ECA justifica-se pela centralidade do Estatuto no âmbito das Políticas Públicas para a infância e adolescência. Para cada um dos cinco eixos foram selecionados dados e indicadores que em sua totalidade compõem um panorama situacional das crianças e adolescentes nos municípios estudados. Os indicadores e dados foram selecionados a partir de sua relevância e também pela possibilidade de monitoramento periódico, de modo a acompanhar a evolução dos municípios em cada eixo.

Apesar do nome bastante amplo “Diagnóstico da Infância e da Adolescência”, a pesquisa está voltada prioritariamente para as crianças e adolescentes atendidos pelos serviços municipais, especialmente pela Assistência Social. Assim, não basta apenas os pesquisadores terem conhecimento sobre políticas públicas para a infância e adolescência, mas sim possuir clareza sobre a Rede de Atendimento, entendendo bem o funcionamento e atribuições de cada um dos serviços e órgãos relacionados. No fluxograma a seguir exemplificamos a Rede de Atendimento à Infância e Adolescência básica presente nos 5 municípios onde a Plan trabalhou. É importante destacar que para a infância e adolescência essa Rede está reunida a partir do Conselho Municipal dos Direitos da Criança e do Adolescente (CMDCA):

Pensando em conhecimentos adquiridos, quatro pontos podem ser destacados:

1º – como estratégia de pesquisa é extremamente importante que a equipe responsável pelo projeto encontre alguém que seja do CMDCA e que faça a ponte entre a Consultoria e os gestores e técnicos de serviços e órgãos locais. Essa pessoa, além de indicar quem pode ser entrevistado, facilita o contato e auxilia na organização e requisições de ambas as partes (Consultoria e CMDCA).

2º – os serviços e órgãos dificilmente dispõem de dados já organizados, portanto, o trabalho com dados quantitativos pode ser um desafio. Nesses casos, a principal fonte de informação passa a ser os dados qualitativos, coletados a partir de Entrevistas em Profundidade e Grupos Focais.

3º – o Diagnóstico está especialmente voltado para avaliar a garantia e/ou violação dos Direitos das Crianças e Adolescentes, assim, se faz necessário conhecer o atendimento prestado pela Rede de maneira ampla, podendo assim ter clareza sobre se cada um dos serviços e órgãos relacionados está ou não cumprindo com as expectativas.

4º – por último, apesar de ser um grande desafio, a equipe de pesquisa deve considerar entrevistar crianças e adolescentes. Apesar de alguns municípios requisitarem que somente gestores e técnicos de serviços relacionados sejam entrevistados, as opiniões das crianças e adolescentes devem também ser consideradas, já que elas agregam importantes informações ao Diagnóstico, além de promover o protagonismo infanto-juvenil, dando espaço de participação para as crianças e adolescentes para que eles mesmos tragam suas percepções sobre a experiência de ser criança e adolescente em cada um dos municípios estudados.

 

 

Análise Qualitativa Comparada na Avaliação

Resultado de imagem para shape-sort blocks

Em texto anterior, falei sobre a técnica de análise qualitativa comparada (QCA) como alternativa à estatística para a inferência causal. Ressaltei que a QCA exibe uma vantagem de ordem prática em relação a esta, permitindo o trabalho com bases de dados reduzidas, e outra vantagem da ordem da sofisticação explicativa, ao possibilitar que o pesquisador se debruce sobre as diversas combinações de causas e efeitos observados.

Especificamente na avaliação voltada à melhoria de intervenções, a QCA ilustra bem quais configurações de condições estão associadas a determinados resultados. Na prática, é necessário atentar para as condições suficientes, configurações que estão sempre associadas a esse resultado (ou sua ausência); e ainda para as condições necessárias, configurações que estão presentes sempre que se observa um determinado resultado (ou sua ausência). Frequentemente ambas são do interesse do pesquisador.

É possível fazer a QCA pela simples observação das combinações que se aplicam a cada caso? Quando as categorias de análise (condições) são poucas, sim.  Não é difícil visualizar as combinações de 2 ou 3 atributos em tabelas correspondentes aos cenários de suficiência/necessidade presença/ausência do resultado. Mas note-se que para cada condição acrescentada, o número de combinações possíveis aumenta exponencialmente  (2x casos para x condições). Com apenas 6 condições, portanto, já temos 64 combinações possíveis. Daí a necessidade de softwares específicos que deem conta de processar esses cenários complexos.

Os softwares de QCA (como este e este) automatizam o processo de identificação de inconsistências e contradições. Haverá configurações em que tanto a presença como a ausência de uma condição são necessárias para um resultado. Esses casos são logicamente inconsistentes. Haverá ainda muitas configurações logicamente possíveis mas que não estão contempladas por casos no banco estudado. Ou mesmo 2 casos de configurações idênticas porém contraditórias, que estão associadas ao mesmo tempo a um resultado e à sua ausência.

Um ponto a se destacar na análise de configurações é a possibilidade de se identificar mais de um caminho para chegar ao mesmo resultado. E isso não quer dizer que todas as configurações sejam igualmente eficazes. Neste momento a bagagem teórica do pesquisador faz diferença. Há que se interpretar a história por trás dos diferentes arranjos observados para se entender porque funcionam. Em suma, é preciso uma hipótese explicativa baseada em teoria, como de resto em qualquer generalização a partir de dados empíricos.

Mas por que se utilizar o QCA em vez de um modelo de regressão, onde variáveis podem ser acrescentadas infinitamente e seu poder explicativo determinado?

Entendo que um diferencial positivo do QCA é chamar a atenção para cenários que não tinham sido antecipados e que não teriam sido testados em outros modelos. Na gestão de projetos isso representa um estímulo ao pensamento fora da caixa: Que variáveis estão presentes num caso bem-sucedido que a teoria da mudança não previu? Que condições precisam ser minimamente satisfeitas para que esse “case” ganhe escala?

Essas são perguntas respondidas com mais acurácia pelo QCA do que pelas abordagens qualitativas mais simples em função da possibilidade que o método oferece de indicar caminhos de causalidade. Mais ainda, a iteração entre a análise de conteúdo e a qualitativa comparada é um procedimento que dá poder explicativo a estudos interpretativos, aumentando a plausibilidade do argumento avaliativo.

Para alguns exemplos do uso do QCA na avaliação, veja esta revisão crítica publicada no American Journal of Evaluation.