Publicado em

Incorporando a perspectiva de gênero em avaliações de políticas públicas e programas sociais e humanitários

Ao longo dos últimos três anos, atuando como especialista de estudos de gênero, eu fui convidada pela Plan Eval para participar de algumas pesquisas e avaliações que consideravam a perspectiva de gênero na análise e avaliação de intervenções sociais e humanitárias. Não obstante, participei de outras tantas avaliações que não faziam a incorporação desta perspectiva, mas que ao longo das análises ficava evidente que ao menos parcialmente esta incorporação poderia ser feita. O fato é que muitas das intervenções sociais e/ou humanitárias podem não fazer referência explícita, mas isso não significa que não tenham um impacto diferenciado por gênero em determinados grupos ou localidades, principalmente devido à desigualdade estrutural entre homens e mulheres ainda persistente na maioria das sociedades – dada as devidas especificidades regionais e/ou culturais, são as mulheres e meninas que continuam a sofrer os maiores impactos em situações de vulnerabilidade, como de grave crise econômica, violência e/ou conflitos armados, por exemplo. Dessa forma, segundo Medina (2021):

“incorporar a perspectiva de gênero implica considerar sistematicamente as diferenças entre mulheres e homens nas diversas esferas de políticas ou programas, com a vontade de identificar essas desigualdades e os fatores que as geram, torná-las visíveis, projetar e aplicar estratégias para reduzi-las e, assim, avançar para sua erradicação. Da mesma forma, significa abordar o estudo dos fenômenos sociais sem assumir a universalidade das experiências masculinas e também questionar o sistema sexo-gênero e suas implicações”.[1]

© UNHCR/Patrick Brown

Para a reflexão que proponho sobre este tema, compartilho algumas das avaliações que realizei no último ano, em 2022, que poderiam ter dado ênfase à questão de gênero desde a sua concepção, mas que não o fizeram explicitamente. Os dois projetos de avaliação que destaco foram solicitados pelo Comitê Internacional da Cruz Vermelha (CICV) no Brasil.

O primeiro, conduzido por uma equipe formada pela Plan Eval, tratou-se de uma avaliação de resultados sobre o Programa Acesso Mais Seguro (AMS), que visa reduzir e mitigar as conseqüências da violência armada sobre os serviços públicos essenciais, como educação, saúde e assistência social. O segundo, realizado de forma independente, fazia referência ao mapeamento das necessidades de comunicação das pessoas migrantes e refugiadas, especialmente da população venezuelana, atendida no âmbito da Operação Acolhida do governo federal, no estado de Roraima. Eram avaliações completamente diferentes entre si, tanto de escopo e estrutura, como de públicos alvos. Contudo, em cada uma havia evidências de que estas intervenções poderiam ter assumido a perspectiva de gênero, uma vez que eram as mulheres que estavam sendo impactadas de forma mais negativa e desigual pelos problemas que a organização procurava mitigar.

© Foto: UNFPA Brasil/Pedro Sibahi

O Programa AMS trabalhava em parceira, no momento da avaliação, diretamente com as secretarias de Educação, Saúde e Assistência Social[2] de quatro municípios: Rio de Janeiro, Duque de Caxias, Fortaleza e Porto Alegre. Por sua vez, o Programa era executado por profissionais que estavam na ponta dos três serviços referidos, como: diretores(as) de escolas, professores(as), médicos(as), dentistas, enfermeiros(as), agentes comunitários e assistentes sociais. Há pesquisas que mostram que as mulheres ocupam em maior número os serviços públicos de forma geral, atuando especialmente no atendimento direto aos usuários dos serviços, porém são minoria nos cargos de maior liderança e tomada de decisão[3]. Além desta desigualdade de gênero “vertical”, há também a desigualdade “horizontal”, quando há a diferença na distribuição de gênero em algumas carreiras específicas. São as consideradas “posições de cuidado”, como as das áreas de assistência social, educação e saúde, que são, historicamente, pior remuneradas, representando um abismo salarial entre os gêneros[4].

Esta intervenção que visa, entre outros objetivos, manter funcionando com segurança os serviços essenciais públicos em áreas de grande vulnerabilidade, passou a impactar a rotina de centenas de profissionais, especialmente que se identificam como mulheres, assim como tem potencial de impactar a vida de muitas beneficiárias/usuárias mulheres que dependem, por exemplo, quase que exclusivamente das escolas abertas para poder trabalhar. Esta afirmação baseia-se nos relatos dados por mães, e demais pessoas cuidadoras, durante os grupos focais realizados com as comunidades, nos quais 90% das pessoas participantes eram mulheres e se apresentavam como chefes de família ou como principais responsáveis pelas suas crianças[5].

Já no caso da avaliação das necessidades de comunicação da população migrante e refugiada em Roraima, havia desde o princípio a preocupação de se mapear as necessidades de subgrupos específicos como: pessoas indígenas; pessoas com deficiência; pessoas LGBTQIAP+; pessoas idosas; mulheres jovens e/ou mães solteiras. Mesmo sendo reconhecido pelas organizações humanitárias que atuam em parceria com o governo federal na Operação Acolhida de que a maioria das pessoas migrantes e refugiadas que entram por esta fronteira são homens, ao longo da avaliação ficou evidente que eram as mulheres – pertencentes a cada grupo específico citado – que tinham maiores dificuldades para se comunicar e conseguir informações sobre as ajudas humanitárias e sociais no país, ficando dependentes de companheiros, demais familiares, ou ainda, exclusivamente, de agentes externos (como no caso das mulheres solteiras com crianças pequenas).

Em ambas as avaliações, o que foi possível de se apresentar como resultado foi uma contextualização das desigualdades de gênero em cada cenário como parte do diagnóstico realizado, sendo ainda elaboradas algumas recomendações e sugestões específicas para que a perspectiva de gênero se fizesse mais presente e explícita nas intervenções propostas pela organização. Não obstante, havia outros passos que poderiam ter sido dados antecipadamente, os quais eu sugiro fortemente aos avaliadores e avaliadoras que me lêem ao se depararem com casos de avaliações que apresentem evidências irrefutáveis de desigualdade de gênero no contexto da intervenção em questão.

Guias práticos sobre avaliação com a incorporação da perspectiva de gênero, como o lançado pelo Instituto Catalão de Avaliação de Políticas Públicas[6], ou como os que foram elaborados pela ONU Mulheres[7], podem ser de grande valia para apoiar nesta tarefa. A seguir, aponto brevemente algumas das orientações destes guias para destacar o que pode ser seguido para que uma avaliação considere minimamente a perspectiva de gênero.

Perguntas iniciais

É conveniente levantar algumas perguntas iniciais, seja para realizar a avaliabilidade da avaliação de um programa ou política, seja para a análise prévia que se desenvolve na primeira parte de uma avaliação em qualquer âmbito de estudo. Tais perguntas podem ajudar a entender e classificar o enfoque de gênero de uma intervenção a partir das informações disponíveis. Elas podem ser como estas:

  • O programa coleta dados da situação inicial para os valores serem analisados? Estes dados são segregados por sexo?
  • Eles incluem informações sobre outros marcadores sociais, como etnia/raça, recursos econômicos, idade, escolaridade?
  • Há informações disponíveis sobre como mulheres e homens respondem e valorizam a intervenção?
  • O programa possui indicadores específicos de desigualdade de gênero e tem acompanhamento?
  • Durante a implementação da intervenção, houve um acompanhamento dos perfis das pessoas beneficiárias do programa?

Perguntas de avaliação

Perguntas de avaliação com foco em gênero são igualmente importantes e devem fazer parte da fase de planejamento metodológico da avaliação. Medina (2021) considera útil selecionar questões de avaliação concretas e projetadas para entender as diferenças de gênero e que vão além de considerar as diferenças entre mulheres e homens, como exemplo:

• Existem normas, práticas ou estereótipos de gênero relacionados aos fatores que a intervenção está tentando mudar? Quais seriam? Como eles afetam mulheres e homens?

• A intervenção visa ou consegue mudar essas normas, práticas ou estereótipos? De que modo?

• Existem perfis diferentes de mulheres e homens entre os usuários do programa? O efeito da intervenção difere entre esses perfis?

• Existe algum perfil de participante (especialmente mulheres e pessoas LGTBQIAP+) sub-representado entre a população beneficiária? Qual seria? Por quê?

• Existe algum perfil de participante (especialmente mulheres e pessoas LGTBQIAP+) sub-representado em algumas das atividades da política ou programa? Qual seria? Por quê?

• Em função do seu gênero, os(as) beneficiários(as) da política vivenciam de forma diferente sua participação no programa? Por quê?

Execução e análise

Ao longo do processo de avaliação, o que inclui a coleta de dados e a análise, a perspectiva de gênero pode se incorporada de forma bastante prática, a partir de ações como:

• Procurar levantar amostras representativas entre os gêneros masculino e feminino;

• Incorporar a voz de mulheres e de organizações feministas ou de afirmação identitária sempre que possível;

• Desagregar dados e fazer análises diferenciais, incluindo outros marcadores sociais sempre que possível;

• Analisar as implicações da política ou do programa em termos de gênero, levando em consideração a interseccionalidade com outros marcadores sempre que possível;

• Definir recomendações específicas sobre gênero para a intervenção;

• Garantir uma linguagem inclusiva e neutra na redação dos relatórios.

Por fim, a avaliação de políticas e programas sociais e humanitários, enquanto um exercício científico de levantamento de evidências, agrega em si um grande componente de aprendizagem que pode (e deve!) gerar novos conhecimentos e práticas, sendo assim visto igualmente como um importante apoio na promoção de mudanças mais amplas e profundas nas organizações e instituições, como na sociedade em geral. Incorporar a perspectiva de gênero nas avaliações, assim como de outros marcadores sociais, faz parte deste processo de aprendizagem para todos os envolvidos, o que requer paciência, é verdade, mas que não suporta mais postergação.

[1] MEDINA, Júlia de Quintana. Guía práctica 18: La perspectiva de género en la evaluación de políticas públicas. Instituto Catalán de Evaluación de Políticas Públicas (Ivàlua), 2021, p.21 (tradução livre).

[2] Apenas em Fortaleza o CICV apresentava parceria com as três secretarias no momento da avaliação. Em Porto Alegre e Duque de Caxias as parcerias eram com as secretarias de Educação e Saúde. E no Rio de Janeiro apenas com a Educação.

[3] De acordo com a Pesquisa Nacional por Amostra de Domicílios Contínua, a PNAD, do Instituto Brasileiro de Geografia e Estatística, de 2022, as mulheres representam 57% dos profissionais no setor público, enquanto os homens são 43%. Contudo, os diretores e gerentes estão representados por 39% de mulheres e 61% de homens.

[4] HIRATA, Helena; KERGOAT, Danièle. Novas configurações da divisão sexual do trabalho. Cadernos de Pesquisa, 37, 595-609. 2007.

[5] De acordo com dados do Dieese de 2022, no Brasil, de 12,7 milhões de famílias monoparentais com filhos, 87% são chefiadas por mulheres e 13% por homens. Nos demais núcleos familiares, a diferença não é tão grande: 51% das famílias são chefiadas por mulheres. Das 11 milhões de mães solteiras e chefes de família, 62% são negras. Dentro desse subgrupo, 25% prestam serviços domésticos; 17% trabalham nos setores de educação, saúde humana e serviços sociais; e 15% no comércio. Entre as mulheres não negras, a proporção é praticamente inversa: 22% trabalham com educação, saúde humana e serviços sociais, 17%, no comércio e 16% com serviços domésticos (Boletim Especial de 8 de março – Dieese com dados do IBGE – PnadC, 2022)

[6] MEDINA (2021).

[7] Os guias da ONU Mulheres podem ser encontrados no site oficial desta agência: Guía de evaluación de programas y proyectos con perspectiva de género, derechos humanos e interculturalidad (2014); Manual de evaluación de ONU Mujeres: Cómo gestionar evaluaciones con enfoque de género (2015).

Publicado em

Tecnologia móvel na floresta

Foto: Edilson Villegas Ramos / ISA

Ocupando 59% do território brasileiro, a região amazônica é de suma importância para o futuro ambiental do planeta. O destino desse ecossistema também está intimamente ligado ao bem-estar das comunidades indígenas que o habitam. Segundo a Rede Amazônica de Informação Socioambiental Georreferenciada, os 2.344 territórios indígenas e 610 áreas protegidas dos nove países amazônicos armazenam 55% do carbono existente em toda a floresta (em torno de 47,3 bilhões de toneladas de carbono) (WALKER ET AL, 2014). Enquanto isso, mais da metade da Amazônia (4,2 milhões de km2) está ameaçada por fatores como o desmatamento ilegal e a expansão da agropecuária (WALKER ET AL, 2014). Neste contexto, o engajamento das comunidades indígenas se torna uma medida essencial de preservar a floresta e reduzir as emissões de gases de efeito estufa. Desde o ano passado, a Plan está auxiliando o Instituto Socioambiental (ISA) a organizar, implementar e analisar um levantamento censitário que garante que comunidades do Alto e Médio Rio Negro no Estado de Amazonas protagonizem a definição e elaboração de Planos de Gestão Territorial e Ambiental (PGTA).

O nosso envolvimento começou com a revisão técnica de uma série de questionários elaborados pelo ISA e a adaptação desses para o Open Data Kit (ODK), uma plataforma que permite a coleta de dados via celular ou tablet mesmo sem conexão à Internet e o eventual envio dos formulários preenchidos para um servidor online. Além de perguntar sobre informações demográficas e socioeconômicas, os questionários incluíram a captura de fotos e as coordenadas geográficas de comunidades, sítios e lugares sagrados em toda a região. Uma vez preparados os questionários, a equipe do ISA realizou um treinamento para dezenas de pesquisadores indígenas em São Gabriel da Cachoeira. Ao longo de cinco meses, essa equipe realizou 369 entrevistas coletivas (com as comunidades e sítios) e mais 3.523 com as famílias, totalizando 29.581 pessoas alcançadas pela pesquisa, assim constituindo o maior levantamento de dados na região desde a demarcação dessas Terras Indígenas nos anos 90.

Com a conclusão da fase de coleta, iniciamos o trabalho considerável de limpar e organizar os dados em planilhas, bem como desenvolver um mapa interativo com detalhes e fotos das comunidades e sítios. A partir das planilhas, produzimos relatórios que reportaram os resultados do levantamento segundo vários recortes geográficos e de grupos étnicos estratégicos. Também fizemos cruzamentos estatísticos para verificar a correlação entre diferentes variáveis. O ISA já realizou oficinas em São Gabriel da Cachoeira com base nesses dados e os achados do estudo ajudarão as comunidades a identificar prioridades para os futuros PGTAs.

Além desse projeto, estamos apoiando outra iniciativa do ISA que envolve 50 pesquisadores indígenas (Agentes Indígenas de Manejo Ambiental) no monitoramento de mudanças ambientais e climáticas em três municípios rio-negrinos (Barcelos, Santa Isabel do Rio Negro e São Gabriel da Cachoeira). Os sete questionários georreferenciados abrangem temas como a fauna e flora da floresta, bem como a incidência de doenças nas comunidades, a condição de roças e observações diárias da temperatura e tempo. Em alguns locais da região, o estudo dos ciclos climáticos já acontece há mais de 10 anos, mas o uso de tablets para coletar os dados vem facilitar e acelerar o trabalho dos pesquisadores, ao mesmo tempo que reduz erros de inserção de dados e oferece novas possibilidades de registros fotográficos e geográficos. Junto com o PGTA, a colaboração da Plan nessas duas iniciativas do ISA contribui para empoderar os povos indígenas na gestão e proteção das suas terras, assim promovendo um futuro sustentável para um dos mais importantes ecossistemas do mundo.

Publicado em

Avaliar melhor para reduzir a pobreza

Em seu livro Poor Economics, Esther Duflo e Abhijit V. Banerjee se inserem em uma discussão acalorada sobre como acabar com a pobreza no mundo. O debate entre Jeffrey Sachs, da Universidade de Colúmbia (End of Poverty, 2005), e William Easterly, da Universidade de Nova Iorque (The White Man’s Burden, 2006) transcorre há mais de 10 anos em torno da eficácia da ajuda internacional. Sachs, que além de professor é enviado especial das Nações Unidas na África, defende que a assistência deve ser prestada em grande escala e que isso não só vai elevar o nível de desenvolvimento de países pobres, como é uma obrigação dos países desenvolvidos promovê-la. Já Easterly, ex-gerente do Banco Mundial, discorda, afirmando que o uso indiscriminado dos recursos da cooperação internacional leva a corrupção e péssimos incentivos para os países que recebem o dinheiro, mantendo-os com níveis baixos de desenvolvimento humano.

Já o livro Poor Economics, Esther Duflo e Abhijit V. Banerjee, não trata a questão do assistencialismo por si só como um problema ou uma solução para o subdesenvolvimento. O argumento principal da obra é que precisamos estimar bem o impacto dos projetos por meio de experimentos, para sabermos exatamente quais ações reduzem a pobreza e em que medida. A ajuda internacional seria mais eficaz quanto mais se conheça as causas da pobreza no contexto do país receptor, possibilitando assim a aplicação de uma estratégia que comprovadamente funcione para atacá-las. Na Plan corroboramos essa visão, acreditando ser necessário alocar os recursos de forma ótima na cooperação internacional, aprendendo com avaliações anteriores, bem como tratar a pobreza como um fenômeno dinâmico, sensível a contexto e multidimensional.

Nesse espírito, terminamos recentemente um estudo de desenho semi-experimental medindo o retorno para a sociedade da rede de Centros Urbanos de Cultura, Arte, Ciência e Esporte (CUCAs) de Fortaleza. Esses centros são equipamentos públicos onde pessoas de 15 a 29 anos podem praticar esportes, ter acesso à cultura, como teatro e dança, e atendimento psicossocial com auxílio de pessoal especializado no desenvolvimento pessoal do jovem para melhor formá-lo para o mundo.

Procurando estimar como a participação nos CUCAS afeta o futuro dos jovens, realizamos encontros, debates e entrevistas para entender melhor os processos de transformação pelos quais esses jovens passam ali. Em seguida aplicamos questionários padronizados com amostras aleatórias representativas de pessoas participantes e não-participantes do programa. Como não havia linha de base para comparação, tivemos de fazer aproximações para poder estimar o que havia mudado na vida desses jovens em termos de competências socioemocionais, além de qualificação profissional, autoestima, perspectiva de futuro, mudanças de comportamento e valores, entre outros resultados que se esperava que o programa obtivesse. Desenvolvemos técnicas de perguntas para que as pessoas reconstruíssem como estavam há 3 anos, antes de a Rede CUCA ser implantada, e se comparassem com o momento atual.

Com os dados em mãos, utilizamos a técnica de diferenças das diferenças, que compara as evoluções dos grupos controle e tratamento em dois momentos do tempo. Quando observamos as duas diferenças, a primeira entre o grupo tratamento antes e depois do CUCA, e a segunda entre o grupo tratamento e controle nos mesmos momentos, podemos estimar o impacto do programa considerando que ambos foram expostos a uma gama semelhantes de fatores externos. Ao final, demonstramos, por exemplo, que as probabilidades de os participantes do programa terminarem o ensino médio e tentarem ingressar no ensino superior são significativamente maiores que a de outros jovens.

Para estudar o impacto financeiro do CUCA sobre os rendimentos de seus participantes, utilizamos os resultados das regressões e os multiplicamos pelos valores apurados pelo IBGE para as faixas de renda associadas a cada nível de escolaridade. Como os resultados das regressões indicaram que os frequentadores do CUCA tendem a ter escolaridade mais alta do que a do grupo de controle, é de se esperar que os rendimentos daqueles seja consequentemente maior. A soma desses recebimentos futuros representará um retorno de valor para a sociedade de aproximadamente 3 vezes o montante investido na Rede CUCA.

Com esse estudo pudemos contribuir mostrando que a Rede CUCA pode trazer não só diversão, esporte e cultura para jovens de Fortaleza, mas também trabalho e renda, reduzindo a pobreza. Com o possível ganho de longo prazo medido para os recebimentos do trabalho em um número significativo de casos (foram 263.409 participantes de atividades do CUCA nos últimos 3 anos), a região pode desenvolver novos empregos, movimentar mais bens e estimular a própria economia, melhorando a vida não só daqueles que receberam as vantagens do CUCA, mas também de todos em volta.

As avaliações que combinam análises qualitativas com experimentos controlados para estimar a eficácia dos programas sociais voltados aos grupos mais pobres têm peso crescente no portfólio da Plan, com projetos de grande escala em curso no Nordeste rural do Brasil voltados ao desenvolvimento infantil e à geração de renda no campo. Por meio destes, conforme defendem Duflo e Banerjee, contribuímos para escolher as estratégias mais eficazes de redução das pobrezas; por meio daquelas, entendemos como operam e como os pobres as vivenciam, fornecendo elementos para que sejam adaptadas pelos governos a seus contextos locais.

Fontes:

Esther Duflo & Abhijit V. Banerjee, “Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty”; 2011, PublicAffairs

Esther Duflo, TED Talk, “Social Experiments to Fight Poverty”; https://www.ted.com/talks/esther_duflo_social_experiments_to_fight_poverty

Jeffrey Sachs, “The End of Poverty: How We Can Make It Happen In Our Lifetime”; 2005,             Penguin Press

William Easterly, “The White Man’s Burden: Why the West’s Efforts to Aid the Rest Have Done So Much Ill and So Little Good”; 2006, Penguin Books

Publicado em

Impact Bonds: avaliando o financiamento privado de programas sociais

Pela primeira vez em um país em desenvolvimento, na Colômbia, foi lançado um “Social Impact Bond” (SIB). O programa patrocinado pelo título de dívida tem como objetivo ajudar 514 indivíduos classificados abaixo da linha de pobreza ou desalojados devido ao conflito interno que vive o país a encontrar trabalho. O foco são pessoas formadas no ensino médio, com 18 a 40 anos, que, na data de início do programa, não possuíam emprego. Financiado em 50% pelo governo do país e 50% pelo governo da Suíça, por meio de agências internacionais de apoio em parceria com o Banco Interamericano de Desenvolvimento (BID), a trajetória do SIB vem sendo acompanhada de perto pela Instiglio, organização sem fins lucrativos, dedicada ao desenvolvimento de Impact Bonds em todo o mundo. A consultoria Deloitte será a responsável pelas avaliações independentes necessárias neste processo.

O Impact Bond é um sistema de financiamento de políticas de interesse da sociedade. Além do SIB, há também o Development Impact Bond (DIB), que já é utilizado em outros dois países em desenvolvimento, Peru e Índia. Tanto SIB como DIB possuem a mesma inspiração financeira. Um operador privado aporta o capital inicial e assume o risco do investimento. Caso tenha sucesso na avaliação de impacto feita por um organismo independente, o governo ou garantidor privado cobre seu investimento e uma margem de lucro pré-definida. A maior diferença entre SIB e DIB é o financiador final; no primeiro, este é o governo, enquanto no DIB o financiador é uma instituição garantidora privada.

Para os avaliadores profissionais, a parte que chama mais atenção é o fato de o sistema depender de medições externas, independentes dos dois agentes principais do contrato, para certificar a eficiência e os incentivos corretos na prestação dos serviços propostos pelos Impact Bonds. No caso do DIB peruano, a intervenção é um suporte para o cultivo de cacau pela população indígena em áreas da Amazônia. O objetivo é aumentar a produção e o retorno financeiro da população da região com a commodity. A medição é feita com uma linha de base, definida no início do tratamento, e com indicadores medidos durante e após a intervenção. No entanto, as medições nesse caso não possuem grupos de controle, o que pode gerar distorções na análise dos dados.

Já na Índia, o primeiro caso de um DIB para educação ocorreu no Rajastão. O projeto é direcionado para educação de meninas, um problema fundamental no país asiático e outros lugares do mundo, onde muitas vezes mulheres são impedidas pelas próprias famílias de ter qualquer tipo de educação. O projeto consiste em dar suporte à ONG Educated Girls, que tem como objetivo aumentar a assiduidade na escola, as notas e diminuir a taxa de evasão de meninas e meninos. O projeto inclui equipe que vai de casa em casa conversar com pais e mães para convencê-los a matricularem seus filhos e, principalmente, filhas nas escolas.

O sistema de medição de impacto do projeto de educação na Índia tem formato diferente do peruano. Além da linha de base, a empresa de consultoria IDinsight, contratada para fazer a avaliação de impacto externa, utilizou a base de escolas da ONG Educate Girls para formar um grupo controle que não receberia o tratamento, sendo mantido para comparação. Como as escolas da base de dados foram escolhidas de forma aleatória para o grupo controle e tratamento, podemos dizer que a avaliação tem formato experimental, e que, portanto, se presta a determinar se o tratamento efetivamente causou o impacto observado.

Fonte: Instiglio

No caso peruano, como estamos falando de uma avaliação com comparação entre linha de base e resultado final, sem grupo controle, fatores não observáveis podem gerar problemas de inferência de causalidade. Um exemplo é o desempenho do mercado de cacau no mundo. Caso o impacto externo no mercado de cacau seja positivo, os indicadores serão impactados positivamente e não necessariamente esse impacto estará relacionado com o programa. A falta de grupo de controle será um problema em casos como esse, podendo premiar (ou não) o controlador do programa devido a fatores que ele não controla, reduzindo a validade da avaliação e possivelmente causando futura desconfiança em novos acordos na região.

Já o formato da avaliação de impacto utilizada no DIB indiano não só utiliza grupo controle, como escolhe grupos controle e tratamento por sorteio aleatório. Primeiro, a utilização de um grupo controle permite que impactos provenientes de outras fontes que não o programa possam ser retirados dos impactos que observamos nos indicadores, deixando apenas aqueles relacionados ao tratamento. Nesse caso, por exemplo, uma melhora estrutural no sistema educacional da Índia seria identificada por tratamento e controle e não entraria na contabilidade do indicador final, que compara um com o outro. Segundo, as amostras serem aleatórias para grupos tratamento e controle traz mais eficiência ao avaliar os reais impactos do programa, mostrando impactos causais entre indicadores e tratamento.

Em suma, apesar de entender que nem sempre temos a possibilidade de fazer um sistema de avaliação de impacto com grupos tratamento e controle criados aleatoriamente, é importante sempre ter em mente possíveis formas de retirar da avaliação causas externas à intervenção que não deveriam ser contabilizadas.

Programas como os Impact Bonds são muito bem vindos para a melhoria do funcionamento e da prestação de serviços de interesse público e social no mundo, principalmente para países em desenvolvimento. O mais interessante desse sistema é ele buscar a eficiência por desenho, exatamente porque utiliza sistemas de medição para certificar que o serviço seja prestado e atestar a qualidade oferecida. Isso tudo tirando o ônus do risco das mãos do setor público e instituições financiadoras, além de jogar incentivos diretamente para o setor privado, que, de modo geral, lida bem com estas variáveis. Na Plan vemos com muito bons olhos iniciativas que valorizam a medição para garantir o maior impacto possível de uma intervenção, seja por parte do setor público ou privado.

Fontes:

  • Autonomous and sustainable cocoa and coffee production by indigenous Asháninka people of Peru. Field mission for the verification of impact indicators of the Development Impact Bond agreement CFC/2013/03/139FT: http://common-fund.org/fileadmin/user_upload/Verification_Report.pdf
  • Brookings Institute, https://www.brookings.edu/blog/education-plus-development/2016/07/18/educate-girls-development-impact-bond-could-be-win-win-for-investors-and-students/
  • Brookings Institute, https://www.brookings.edu/blog/education-plus-development/2017/03/31/colombia-leads-the-developing-world-in-signing-the-first-social-impact-bond-contracts/
  • Instiglio, http://instiglio.org/educategirlsdib/wp-content/uploads/2015/09/Educate-Girls-DIB-Sept-2015.pdf
  • Instiglio, http://www.instiglio.org/en/impact-bonds/
  • Instiglio, http://www.instiglio.org/en/sibs-worldwide/
  • William R. Shadish, Thomas D. Cook, & Donald T. Campbell; “Experimental and Quasi-Experimental Designs for Generalized Causal Inference”; Houghton Mifflin Company. 2002.
Publicado em

Transparência na gestão pública: monitoramento de políticas por meio de dados abertos

Uma das maneiras mais simples de se monitorar políticas públicas é recorrendo a dados da gestão pública que as instituições de governo disponibilizam online.

No mundo todo, é crescente a demanda pela transparência na divulgação desses dados. No Brasil, os órgãos e entidades públicas são obrigados a disponibilizar informações desde que a Lei de Acesso à Informação (Lei nº 12.527/2011) entrou em vigor em maio de 2012. Atualmente, o país ocupa o 18º lugar no Global Right to Information Rating, que ranqueia as legislações mais rigorosas, apesar de ter sido o 89º país a adotar uma lei de acesso à informação pública. A LAI já tem quatro anos e ainda há muitas falhas no atendimento aos pedidos de acesso à informação.

Na busca por governos mais transparentes, diversas iniciativas e portais foram criados tanto para facilitar o acesso e compreensão de dados disponibilizados, monitorando o desempenho ou gastos das gestões públicas, como para monitorar e cobrar a transparência dos governos nas instâncias municipal, estadual e federal.

Esses portais também auxiliam nas pesquisas de monitoramento quando é necessário recorrer a dados secundários. Tivemos oportunidade de conhecer algumas iniciativas ao longo dos nossos trabalhos e vamos partilhar algumas aqui no Blog.

Em trabalho com a Fundação Lemann, utilizamos o portal QEdu que monitora dados sobre a educação no Brasil. É possível comparar dados do Enem, Ideb, Censo Escolar e Prova Brasil por municípios e por todas as unidades escolares públicas e privadas, municipais e estaduais. O portal também possibilita desmembrar alguns indicadores, como o Ideb, formado pela nota da Prova Brasil no aprendizado (conhecimento de conteúdos) e no fluxo (taxa de aprovação).

Para o Instituto Ethos, trabalhamos com o Cidade Transparente. Trata-se de uma iniciativa que mensura a transparência municipal através dos Indicadores da Cidade Transparente, “obtido por meio da análise de informações e dados da administração pública” que é “adaptado da metodologia de avaliação da transparência das cidades-sede da Copa do Mundo desenvolvida no âmbito do projeto Jogos Limpos”, avaliado pela Plan. A iniciativa busca estimular a participação social e contribuir para melhoria da transparência dos municípios brasileiros.

Ainda monitorando o avanço da transparência no país, o Transparência Brasil acompanha informações sobre a vida e as decisões políticas no país. Três projetos principais são desenvolvidos pela organização: “Excelências”, com informações sobre o histórico dos congressistas, incluindo processos na justiça, multas, declarações de bens, etc; “Meritíssimo”, um acompanhamento das decisões dos ministros do STF; “Às Claras”, um banco de dados com informações sobre financiamento de campanhas eleitorais municipais, estaduais e nacionais desde 2002. O portal deve lançar em breve o “Cadê minha escola?” para monitorar de maneira participativa a construção de escolas e creches públicas.

No âmbito do monitoramento de arrecadação e gastos dos municípios, a Fundação Brava desenvolveu o portal Meu Município, que usa dados do Ministério da Fazenda (Secretaria do Tesouro Nacional) e do IBGE. A metodologia utilizada pode ser consultada aqui.

Conheça mais sobre as iniciativas pela transparência no Brasil:

Retps: Rede pela Transparência e Participação Social
GPoPAI – USP: Grupo de Pesquisas em Políticas Públicas para o Acesso à Informação
Eaesp – FGV
Artigo 19

Publicado em

Como funciona o Orçamento por Resultados?

A Plan está auxiliando a Secretaria de Planejamento e Desenvolvimento Regional do Estado de São Paulo na implementação do Projeto de Orçamento por Resultado (OpR) e, diante da atualidade do tema, o post dessa semana irá falar um pouco sobre o que é o OpR e qual o papel da avaliação nesse tipo de projeto.

Como o próprio nome já diz, OpR é um sistema em que o orçamento de uma instituição, órgão ou empresa está diretamente vinculado à obtenção de um resultado específico e pré-determinado. Desta forma, procura-se evitar a alocação inadequada dos recursos financeiros ou mesmo o seu desperdício.

Supondo que um órgão voltado à promoção de saúde, por exemplo, queira ampliar o número de atendimentos básicos realizados por ano, é possível atrelar seu orçamento anual à execução de ações que comprovadamente levam ao atingimento deste resultado pretendido, tais como contratação de mais médicos e aquisição de novos espaços e equipamentos.  Portanto, o OpR pode ser considerado uma estratégia bastante importante à Administração Pública no desempenho de suas funções, permitindo, inclusive, que os serviços prestados atinjam aos beneficiários com maior eficácia e qualidade.

No entanto, a implementação de OpR não se esgota na elaboração orçamentária; é preciso desenvolver mecanismos que possam indicar que o OpR cumpre com a sua finalidade primordial, que é o atingimento dos resultados pretendidos. E é neste contexto que se insere o monitoramento e a avaliação.

Não basta direcionar o orçamento à execução de atividades focadas no atingimento de um resultado; é necessário, sobretudo, monitorar e avaliar se estas atividades realmente contribuem para o atingimento deste resultado, sendo a criação de indicadores de desempenho a ferramenta mais indicada para este fim. Isto porque são os indicadores que irão medir o desempenho da instituição, órgão ou empresa na concretização do OpR, avaliando se o resultado pretendido foi ou não atingido.

Adicionalmente, estes indicadores também permitem identificar eventuais obstáculos e desafios à concretização do OpR, possibilitando a realização dos ajustes necessários antes da ocorrência de prejuízos irreparáveis. Diante disso, são ferramentas essenciais para garantir a adequada alocação do orçamento.

A Organização das Nações Unidas, por meio do documento intitulado Results-Based Management in the United Nations Development System: Progress and Challenges, reforçou este entendimento ao definir que o OpR consiste na (i) formulação do orçamento baseada em objetivos pré-definidos e resultados esperados; cujos (ii) resultados justificam os recursos despendidos nas atividades, que estão necessariamente relacionadas ao seu cumprimento; e em que (iii) a performance e o desempenho são medidos por indicadores objetivos.

Portanto, além de vincular o orçamento a atividades necessárias ao atingimento de um resultado específico, é essencial ao projeto de OpR que este resultado esperado possa ser mensurado, pois é a partir desta mensurabilidade que os indicadores apropriados são elaborados.

Assim como os inúmeros instrumentos de gestão existentes, o OpR e seus indicadores devem ser sistematicamente acompanhados, de forma automatizada, mecânica ou até mesmo manual. Por isso, durante sua elaboração, além de ter em mente a viabilidade dos resultados esperados, é fundamental ser preciso na definição dos indicadores e realista quanto às possibilidades de acompanhamento.

Publicado em

Onde estão os avaliadores brasileiros?

Não há avaliadores no Brasil.

Foi a conclusão que levei do último congresso da Rede Brasileira de Monitoramento e Avaliação, ocorrido na Unicamp, em Campinas-SP, de 25 a 27 de setembro. Não é dizer que não haja pessoas que desempenham projetos de avaliação em suas diversas manifestações. Também não quer dizer que não existam funcionários públicos, diretores de responsabilidade social empresarial, e ongueiros comissionando trabalhos que engajam os anéis reflexivos dentro das organizações, apoiados pelas metodologias das ciências sociais. Mas a identidade do campo, da prática e dos profissionais é atomizada, dispersa entre inúmeros outros nomes.

Uma rosa por outro nome…?

Bem, acredito que a avaliação, como conceito, é tão natural quanto necessária. Parafraseando Mark, Greene, e Shaw, “talvez julgar coisas de forma avaliativa é ainda mais básico [na psicologia humana] que dar sentido ao mundo descritivamente.” Após algumas páginas afirmam: “se você pedir a 10 avaliadores que definam a avaliação, vai ouvir 23 definições diferentes”. (SAGE Handbook of Evaluation, 2006) O fato de a atividade da avaliação ser intrinsecamente enraizada na prática a meu ver exige criatividade e flexibilidade saudáveis do profissional. Quanto mais vinculado com a realidade quotidiana dos projetos sociais, menos risco de se tornar uma coisa rígida e monoteórica. Kuhn se referia aos campos das “ciências maduras”, mas serve como uma ótima prefiguração do que pode acontecer se fosse arrancado desses ambientes:

“vamos finalmente descrever a pesquisa como uma tentativa vigorosa e dedicada de forçar [a coisa pesquisada] nas caixas conceituais fornecidas pela educação profissional.” (tradução minha)

Quer dizer que a atividade de avaliar vai ocorrer de uma forma ou de outra, mas reunir um núcleo de pessoas que se identificam como avaliadores profissionais é uma tarefa difícil.

A tarefa da RBMA é então ultra delicada: construir uma nova comunidade, o esqueleto de uma nova disciplina no país, unida, mas não tão unida. Este desafio vem com enormes responsabilidades, principalmente a articulação da identidade profissional do avaliador.

A profissão do avaliador

O caminho que leva a uma comunidade avaliativa brasileira robusta e vivaz será calçado com passos concretos. Acho que foi isso que respaldava a pergunta de Martha McGuire durante o evento:

—O site da RBMA tem uma listagem de avaliadores?

Não tem.

Outro desalinhamento sutil de destaque: quantos participantes do seminário foram convidados para um outro congresso internacional especificamente sobre a criação de comunidades nacionais de avaliação…EM SÂO PAULO…TRÊS DIAS APÓS O EVENTO DA RBMA? Quantos ao menos estavam cientes que ocorreria? Por que separar os dois eventos para começar, se os interesses dos envolvidos são tão otimamente alinhados? Ok, havia discussões online prévias à conferência, e talvez foi por questões logísticas que tiveram de ser separados. Mas é um precedente desvantajoso para quem está procurando fortalecer e unificar. A American Evaluation Association já conta com mais de 4.000 membros, e os representantes da Fundação Ford, da USAID, e da Western Michigan University (único doutorado de avaliação oferecido nos E.U.A.) participam no mesmo nível e respondem aos mesmos processos seletivos que o resto dos membros. Visto a identidade já fraca e dispersa do avaliador brasileiro, não é o momento de enviar mensagens de exclusividade.

Olhando para frente, estou otimista. A RBMA está fazendo um trabalho difícil, nobre, e de altíssimo valor. Mas para que a avaliação como entidade orgulhosa e independente floresça, objetivo com que acho que todos as participantes na rede estão de acordo, o diabo está nos detalhes.