Por: Carla Sanche
Avaliação e participação são entendidas de forma distinta ao longo do tempo e conforme instituições e autores. Uma definição clássica de avaliação diz respeito a um processo sistemático de investigação sobre intervenções específicas (sejam elas projetos, programas ou políticas) com o objetivo de aperfeiçoar as tomadas de decisão com base num julgamento sobre o mérito ou valor do objeto avaliado[1]. Já a participação é definida de forma genérica como “ter ou tomar parte em”[2]. No que tange a participação social, pode-se falar de instrumentos e canais legitimados para o aperfeiçoamento da representação política e do controle do estado pela sociedade, ou, mais especificamente, para o desenvolvimento e implementação de intervenções, em especial aquelas lideradas pelo poder público[3].
Sabemos que a união desses dois princípios em função de necessidades práticas não é uma novidade. O que se quer destacar aqui é como a perspectiva dos atores sociais acerca de uma intervenção se reflete no campo da avaliação. Esse reconhecimento implica em tomar a participação como elemento de aumento da qualidade das avaliações em termos de utilidade, credibilidade e base em evidências[4].
Assim, o termo “avaliação participativa” é atualmente usado para descrever processos avaliativos que envolvem diferentes partes interessadas de uma intervenção, diferenciando-se das avaliações tradicionais realizadas por agentes externos e onde aquelas partes servem, basicamente, como fontes de informação ou meios de validação. A avaliação participativa caracteriza-se pelo engajamento direto e ativo dos diferentes atores[5] desde a identificação dos problemas, passando pela definição das partes a serem envolvidas, dos métodos de investigação até a divulgação e a discussão dos resultados da avaliação[6]. Na condução de práticas deste tipo, os avaliadores devem assumir mais o papel de facilitadores, guias e apoios técnicos e menos de “experts”. Desta forma, nesses processos o envolvimento e a aprendizagem são tão (ou mais) importantes do que os resultados. Por isso, diálogo, confiança e flexibilidade são elementos cruciais quando planejamos e conduzimos processos participativos.
Como avaliação e monitoramento andam juntos em função da necessidade de produção de informações periódicas sobre as intervenções a serem avaliadas, existem ainda as abordagens focadas em “monitoramento e avaliação participativos” (PM&E, sigla em inglês). Nestas, partes interessadas definem as mudanças relevantes e esperadas pela intervenção, tendo em conta sua posição privilegiada de quem vivencia essas mudanças e sua compreensão do contexto. Também podem ser envolvidos na construção de indicadores e na coleta de dados, não apenas como fornecedores de informação, mas também nas análises e reflexões sobre os resultados, identificação de avanços, limitações e recomendações de melhoria. Por se tratar de um processo contínuo, PM&E tem como um de seus propósitos a produção de saberes oportunos, confiáveis e relevantes a fim de retroalimentar a tomada de decisão contribuindo de forma mais dinâmica e assertiva para o melhor direcionamento das intervenções[7] e [8].
Experiências recentes na Plan Eval
A construção do Quadro Lógico da Rede CUCA (2021) foi realizada por meio de um denso processo de colaboração em que foram envolvidos tanto jovens que utilizam esses equipamentos de esporte, cultura e lazer da cidade de Fortaleza (Brasil), como suas famílias, representantes das comunidades, agentes implementadores e gestores.
Desde a compreensão da situação atual do programa, passando pela revisão da Teoria da Mudança (TdM) até a definição dos indicadores, esses atores chaves participaram de forma ativa e crítica, refletindo sobre as transformações reais vivenciadas pelos jovens, limites operacionais e institucionais do programa, pertinência e relevância das proposições apresentadas por nós consultores. Por um lado, esse processo permitiu a construção de indicadores e ferramentas aderentes à realidade local e operacional dos equipamentos e da política de juventude de Fortaleza. Por outro, resultou num desenho de ciclo avaliativo futuro construído exatamente para a manutenção do envolvimento dos atores num continuum de análise crítica e reflexão intencional a respeito do alcance dos resultados, desafios, boas práticas e correções de rumo.
Os resultados desse processo poderão ser vistos em breve na publicação a ser lançada pela Rede Cuca.
Na Avaliação dos Modelos de Gestão Comunitária da Água (2019-2021) , uma rede de comunidades rurais, prestadores de serviço de saneamento e fornecedores de assistência técnica, a participação das “Organizações de Acesso” (parceiros de implementação do programa) já estava definida como fio condutor desde o início dos trabalhos, mas a intensidade em que ocorreu na prática foi resultado de dois outros elementos colados à participação: a flexibilidade e o diálogo.
Na primeira rodada de produção de conhecimento realizada em 2019 utilizamos um instrumento construído a partir de duas fontes principais: um processo colaborativo com as organizações parceiras e as reflexões apresentadas no Marco Conceitual[9] consolidadas a partir de estudos consagrados sobre modelos de gestão comunitária da água. Passamos então à criação de um Índice de Sustentabilidade, a ser alimentado com informações produzidas pelos parceiros. Esse processo revelou uma grande variedade de soluções técnicas para o acesso a água, assim como as distintas formas atuação dos parceiros, deixando claro como seria desafiador capturar toda essa multiplicidade.
Ficou claro para os que coordenavam o processo avaliativo que seria fundamental que as organizações parceiras se apropriassem da ferramenta, para que efetivamente os resultados demonstrassem quais aspectos/dimensões os modelos de gestão comunitária da água precisariam ser fortalecidos e quais práticas estavam dando certo.
Assim, a reflexão conjunta entre consultores, contratantes da avaliação e parceiros de implementação resultou na decisão pelo “redesenho” do instrumento de pesquisa (questionário estruturado) e criação de uma escala de nível de vulnerabilidade para o cálculo do Índice de Sustentabilidade a partir do da contribuição técnica dos parceiros implementadores. Ficou acordado ainda que neste processo seriam mais relevantes as trocas e a aprendizagem do que a manutenção da comparabilidade entre a primeira e a segunda rodada de coleta. E assim foi feito!
Durante o primeiro semestre de 2020, em reuniões semanais, debatemos e revisamos, dimensão a dimensão, com os representantes das organizações parceiras das diferentes regiões do Brasil. Como resultado, produzimos um instrumento de medição com maior aderência tanto aos aspectos técnicos da operação quanto aos diferentes modelos de gestão comunitária da água e à diversidade de realidades dos territórios onde as organizações parceiras atuam. A definição do padrão (escala de vulnerabilidade) junto com o alinhamento coletivo sobre o instrumento permitiu na segunda coleta (2021) a produção de um índice que se revelou coerente com as diferentes realidades culturais, territoriais e econômicas de cada uma das comunidades e sistemas estudados.
As ferramentas desenvolvidas, o aprendizado e as reflexões resultantes ficaram como legado desse processo e, a partir dos relatos dos parceiros, já estão contribuindo com as organizações implementadoras e comunidades na manutenção dos benefícios conquistados.
Em ambos os processos relatados acima, fizeram diferença (1) a capacidade de adaptação, flexibilidade e de proposição da equipe de consultores envolvidos[10], (2) o comprometimento por parte dos contratantes em mobilizar, incluir e facilitar o acesso da consultoria às diferentes partes envolvidas e (3) a disponibilidade de beneficiários diretos e agentes de implementação em contribuir na construção de uma avaliação aderente aos seus contextos.
Reflexões (e algumas dicas…)
A partir das experiências relatadas e de uma breve revisão documental[11], listamos algumas reflexões e aprendizados sobre a condução de processos de monitoramento e avaliação participativos:
- Na condução de processos desse tipo é importante ter clareza que nós (avaliadores) atuamos mais na função de apoio técnico e de facilitação, e menos como especialistas;
- Os atores envolvidos podem apresentar diferentes níveis de conhecimento sobre indicadores, sistemas de monitoramento e processos de avaliação. Nestas situações, vale (sempre que possível), apresentar um breve alinhamento conceitual (sem dar aulas!) em linguagem acessível e de fácil compreensão para cada público em questão, usando exemplos de fácil assimilação;
- É um diferencial que os avaliadores tenham também habilidades de facilitação do diálogo sem perder de vista os objetivos avaliativos;
- É necessário ter conhecimento sobre ferramentas e métodos participativos e ter atitudes e comportamentos que estimulem e ofereçam suporte à participação;
- Capacidade de diálogo, escuta ativa, negociação e (muita) flexibilidade são essenciais!;
- A flexibilidade e capacidade de proposição também devem ser aplicadas na definição, desenvolvimento ou adaptação das ferramentas a serem utilizadas;
- Uso de elementos visuais em oposição a elementos escritos pode facilitar a inclusão de pessoas que têm dificuldades com leitura;
- Processos participativos podem demandar mais tempo em função da variedade e quantidade de partes envolvidas. Isso pode resultar na necessidade de mais recursos (e paciência!);
- A pandemia acelerou o uso das tecnologias de informação e comunicação (TICs) na condução das avaliações. Por um lado, isso ajudou a difusão e adaptação de muitas técnicas participativas. Por outro, ainda esbarramos na dificuldade de acesso à internet ou mesmo nas questões geracionais e limitações no uso de TICs. Portanto plataformas, ferramentas de apoio e técnicas de condução devem ser rigorosa e previamente planejadas e desenhadas de acordo com cada realidade e cada público envolvido;
- O comprometimento real das instituições promotoras das intervenções e coordenadoras da avaliação é fundamental para os resultados desses processos. Além da abertura para a participação, essas organizações devem estar dispostas a promover revisões e adaptações em suas intervenções;
- Como processo “voluntário e consciente” é importante reconhecer que algumas pessoas (beneficiários, principalmente) não querem se envolver ou não podem dedicar seu tempo às atividades propostas. Apesar disso, é importante estar atento ao equilíbrio entre a representatividade dos atores;
- Gerenciar a interação entre as partes envolvidas pode ser um desafio quando não se tem claros os objetivos do processo, as necessidades de informação ou mesmo quando há conflitos prévios entre algumas das partes;
- Compreensão cultural e contextual são extremamente relevantes para o desenho dos processos de monitoramento e avaliação, e seus respectivos instrumentos e técnicas de abordagem (faça sua lição de casa!);
- A abordagem participativa não exclui a realização de outros métodos no mesmo processo, como pesquisas com questionários padronizados ou mesmo medições de impacto pelo contrafactual[12]. Ao contrário, podem ser utilizadas em conjunto sempre que desejável e desde que a informação produzida por esses métodos seja relevante para os objetivos da avaliação.
[1] PRESSKIL, Hallie S. Building evaluation capacity: activities for teaching and training. SAGE: Oregon, 2016.
[2] FERREIRA, Aurélio Buarque de Holanda. Mini Aurélio Século XXI Escolar: o minidicionário da língua portuguesa. 4ª ed. Rio de Janeiro: Nova Fronteira, 2001. 790 p.
[3] MAGALHÃES, Carla S; FURTADO, Fernanda. (2009) Desafios da Consistência Participativa e dos seus Rebatimentos no Planejamento Urbano Municipal: A Experiência Recente de Duque de Caxias (RJ). ANAIS XIII ENANPUR, Florianópolis, Santa Catarina, Brasil.
[4] TAPELLA, Esteban (et al) (2021). Siembra y cosecha: Manual de Evaluación Participativa. Bonn: DEVAL.
[5] Para muitos autores o peso maior deve ser dado para a participação dos beneficiários (receptores das intervenções) e menos para os técnicos e gestores. Aqui entendemos que ambos são importantes e podem oferecer contribuições relevantes aos processos de monitoramento e avaliação participativos.
[6] JACOB, Steve. (2009). Comprendre et entreprendre une évaluation participative. Guide de synthèse. Québec: Bibliothèque et Archives nationales du Québec.
[7] INTRAC. (2020). Participatory M&E. Disponível em: https://www.intrac.org/wpcms/wp-content/uploads/2017/01/Participatory-ME.pdf.. Acesso em: out/21.
[8] INSTITUTE OF DEVELOPMENT STUDIES (sd). Participatory Methods: Plan, Monitor and Evaluate. Disponível em: https://www.participatorymethods.org/task/plan-monitor-and-evaluate. Acesso em: out/21.
[9] A prioridade da Aliança Água+Acesso é a oferta de água segura para as comunidades. Para isso, precisa, entre outros elementos, que as organizações da ponta sejam fortes e consigam sustentar os benefícios conquistados para garantir a permanência dos serviços a longo prazo. Para mais: www.aguamaisacesso.com.br
[10] Na Rede CUCA: Carla Sanche, Catálise e Andreia Skackauskas, no Água+: Carla Sanche e Lucas Damiani.
[11] Autores citados anteriormente
[12] Alguns autores e organizações inclusive reforçam a importância da integração entre monitoramento e avaliação participativos com avaliações de impacto. Dois exemplos: GUIJT, Irene (2014). Participatory Approaches. Methodologial Briefs – Impact Evaluation Nº 5. Florence: UNICEF.; e CATLEY, Andy (et al). Participatory Impact Assessment: a design guide. Somerville: Feinstein International Center – Tufts University.