Publicado em

Incorporando a perspectiva de gênero em avaliações de políticas públicas e programas sociais e humanitários

Ao longo dos últimos três anos, atuando como especialista de estudos de gênero, eu fui convidada pela Plan Eval para participar de algumas pesquisas e avaliações que consideravam a perspectiva de gênero na análise e avaliação de intervenções sociais e humanitárias. Não obstante, participei de outras tantas avaliações que não faziam a incorporação desta perspectiva, mas que ao longo das análises ficava evidente que ao menos parcialmente esta incorporação poderia ser feita. O fato é que muitas das intervenções sociais e/ou humanitárias podem não fazer referência explícita, mas isso não significa que não tenham um impacto diferenciado por gênero em determinados grupos ou localidades, principalmente devido à desigualdade estrutural entre homens e mulheres ainda persistente na maioria das sociedades – dada as devidas especificidades regionais e/ou culturais, são as mulheres e meninas que continuam a sofrer os maiores impactos em situações de vulnerabilidade, como de grave crise econômica, violência e/ou conflitos armados, por exemplo. Dessa forma, segundo Medina (2021):

“incorporar a perspectiva de gênero implica considerar sistematicamente as diferenças entre mulheres e homens nas diversas esferas de políticas ou programas, com a vontade de identificar essas desigualdades e os fatores que as geram, torná-las visíveis, projetar e aplicar estratégias para reduzi-las e, assim, avançar para sua erradicação. Da mesma forma, significa abordar o estudo dos fenômenos sociais sem assumir a universalidade das experiências masculinas e também questionar o sistema sexo-gênero e suas implicações”.[1]

© UNHCR/Patrick Brown

Para a reflexão que proponho sobre este tema, compartilho algumas das avaliações que realizei no último ano, em 2022, que poderiam ter dado ênfase à questão de gênero desde a sua concepção, mas que não o fizeram explicitamente. Os dois projetos de avaliação que destaco foram solicitados pelo Comitê Internacional da Cruz Vermelha (CICV) no Brasil.

O primeiro, conduzido por uma equipe formada pela Plan Eval, tratou-se de uma avaliação de resultados sobre o Programa Acesso Mais Seguro (AMS), que visa reduzir e mitigar as conseqüências da violência armada sobre os serviços públicos essenciais, como educação, saúde e assistência social. O segundo, realizado de forma independente, fazia referência ao mapeamento das necessidades de comunicação das pessoas migrantes e refugiadas, especialmente da população venezuelana, atendida no âmbito da Operação Acolhida do governo federal, no estado de Roraima. Eram avaliações completamente diferentes entre si, tanto de escopo e estrutura, como de públicos alvos. Contudo, em cada uma havia evidências de que estas intervenções poderiam ter assumido a perspectiva de gênero, uma vez que eram as mulheres que estavam sendo impactadas de forma mais negativa e desigual pelos problemas que a organização procurava mitigar.

© Foto: UNFPA Brasil/Pedro Sibahi

O Programa AMS trabalhava em parceira, no momento da avaliação, diretamente com as secretarias de Educação, Saúde e Assistência Social[2] de quatro municípios: Rio de Janeiro, Duque de Caxias, Fortaleza e Porto Alegre. Por sua vez, o Programa era executado por profissionais que estavam na ponta dos três serviços referidos, como: diretores(as) de escolas, professores(as), médicos(as), dentistas, enfermeiros(as), agentes comunitários e assistentes sociais. Há pesquisas que mostram que as mulheres ocupam em maior número os serviços públicos de forma geral, atuando especialmente no atendimento direto aos usuários dos serviços, porém são minoria nos cargos de maior liderança e tomada de decisão[3]. Além desta desigualdade de gênero “vertical”, há também a desigualdade “horizontal”, quando há a diferença na distribuição de gênero em algumas carreiras específicas. São as consideradas “posições de cuidado”, como as das áreas de assistência social, educação e saúde, que são, historicamente, pior remuneradas, representando um abismo salarial entre os gêneros[4].

Esta intervenção que visa, entre outros objetivos, manter funcionando com segurança os serviços essenciais públicos em áreas de grande vulnerabilidade, passou a impactar a rotina de centenas de profissionais, especialmente que se identificam como mulheres, assim como tem potencial de impactar a vida de muitas beneficiárias/usuárias mulheres que dependem, por exemplo, quase que exclusivamente das escolas abertas para poder trabalhar. Esta afirmação baseia-se nos relatos dados por mães, e demais pessoas cuidadoras, durante os grupos focais realizados com as comunidades, nos quais 90% das pessoas participantes eram mulheres e se apresentavam como chefes de família ou como principais responsáveis pelas suas crianças[5].

Já no caso da avaliação das necessidades de comunicação da população migrante e refugiada em Roraima, havia desde o princípio a preocupação de se mapear as necessidades de subgrupos específicos como: pessoas indígenas; pessoas com deficiência; pessoas LGBTQIAP+; pessoas idosas; mulheres jovens e/ou mães solteiras. Mesmo sendo reconhecido pelas organizações humanitárias que atuam em parceria com o governo federal na Operação Acolhida de que a maioria das pessoas migrantes e refugiadas que entram por esta fronteira são homens, ao longo da avaliação ficou evidente que eram as mulheres – pertencentes a cada grupo específico citado – que tinham maiores dificuldades para se comunicar e conseguir informações sobre as ajudas humanitárias e sociais no país, ficando dependentes de companheiros, demais familiares, ou ainda, exclusivamente, de agentes externos (como no caso das mulheres solteiras com crianças pequenas).

Em ambas as avaliações, o que foi possível de se apresentar como resultado foi uma contextualização das desigualdades de gênero em cada cenário como parte do diagnóstico realizado, sendo ainda elaboradas algumas recomendações e sugestões específicas para que a perspectiva de gênero se fizesse mais presente e explícita nas intervenções propostas pela organização. Não obstante, havia outros passos que poderiam ter sido dados antecipadamente, os quais eu sugiro fortemente aos avaliadores e avaliadoras que me lêem ao se depararem com casos de avaliações que apresentem evidências irrefutáveis de desigualdade de gênero no contexto da intervenção em questão.

Guias práticos sobre avaliação com a incorporação da perspectiva de gênero, como o lançado pelo Instituto Catalão de Avaliação de Políticas Públicas[6], ou como os que foram elaborados pela ONU Mulheres[7], podem ser de grande valia para apoiar nesta tarefa. A seguir, aponto brevemente algumas das orientações destes guias para destacar o que pode ser seguido para que uma avaliação considere minimamente a perspectiva de gênero.

Perguntas iniciais

É conveniente levantar algumas perguntas iniciais, seja para realizar a avaliabilidade da avaliação de um programa ou política, seja para a análise prévia que se desenvolve na primeira parte de uma avaliação em qualquer âmbito de estudo. Tais perguntas podem ajudar a entender e classificar o enfoque de gênero de uma intervenção a partir das informações disponíveis. Elas podem ser como estas:

  • O programa coleta dados da situação inicial para os valores serem analisados? Estes dados são segregados por sexo?
  • Eles incluem informações sobre outros marcadores sociais, como etnia/raça, recursos econômicos, idade, escolaridade?
  • Há informações disponíveis sobre como mulheres e homens respondem e valorizam a intervenção?
  • O programa possui indicadores específicos de desigualdade de gênero e tem acompanhamento?
  • Durante a implementação da intervenção, houve um acompanhamento dos perfis das pessoas beneficiárias do programa?

Perguntas de avaliação

Perguntas de avaliação com foco em gênero são igualmente importantes e devem fazer parte da fase de planejamento metodológico da avaliação. Medina (2021) considera útil selecionar questões de avaliação concretas e projetadas para entender as diferenças de gênero e que vão além de considerar as diferenças entre mulheres e homens, como exemplo:

• Existem normas, práticas ou estereótipos de gênero relacionados aos fatores que a intervenção está tentando mudar? Quais seriam? Como eles afetam mulheres e homens?

• A intervenção visa ou consegue mudar essas normas, práticas ou estereótipos? De que modo?

• Existem perfis diferentes de mulheres e homens entre os usuários do programa? O efeito da intervenção difere entre esses perfis?

• Existe algum perfil de participante (especialmente mulheres e pessoas LGTBQIAP+) sub-representado entre a população beneficiária? Qual seria? Por quê?

• Existe algum perfil de participante (especialmente mulheres e pessoas LGTBQIAP+) sub-representado em algumas das atividades da política ou programa? Qual seria? Por quê?

• Em função do seu gênero, os(as) beneficiários(as) da política vivenciam de forma diferente sua participação no programa? Por quê?

Execução e análise

Ao longo do processo de avaliação, o que inclui a coleta de dados e a análise, a perspectiva de gênero pode se incorporada de forma bastante prática, a partir de ações como:

• Procurar levantar amostras representativas entre os gêneros masculino e feminino;

• Incorporar a voz de mulheres e de organizações feministas ou de afirmação identitária sempre que possível;

• Desagregar dados e fazer análises diferenciais, incluindo outros marcadores sociais sempre que possível;

• Analisar as implicações da política ou do programa em termos de gênero, levando em consideração a interseccionalidade com outros marcadores sempre que possível;

• Definir recomendações específicas sobre gênero para a intervenção;

• Garantir uma linguagem inclusiva e neutra na redação dos relatórios.

Por fim, a avaliação de políticas e programas sociais e humanitários, enquanto um exercício científico de levantamento de evidências, agrega em si um grande componente de aprendizagem que pode (e deve!) gerar novos conhecimentos e práticas, sendo assim visto igualmente como um importante apoio na promoção de mudanças mais amplas e profundas nas organizações e instituições, como na sociedade em geral. Incorporar a perspectiva de gênero nas avaliações, assim como de outros marcadores sociais, faz parte deste processo de aprendizagem para todos os envolvidos, o que requer paciência, é verdade, mas que não suporta mais postergação.

[1] MEDINA, Júlia de Quintana. Guía práctica 18: La perspectiva de género en la evaluación de políticas públicas. Instituto Catalán de Evaluación de Políticas Públicas (Ivàlua), 2021, p.21 (tradução livre).

[2] Apenas em Fortaleza o CICV apresentava parceria com as três secretarias no momento da avaliação. Em Porto Alegre e Duque de Caxias as parcerias eram com as secretarias de Educação e Saúde. E no Rio de Janeiro apenas com a Educação.

[3] De acordo com a Pesquisa Nacional por Amostra de Domicílios Contínua, a PNAD, do Instituto Brasileiro de Geografia e Estatística, de 2022, as mulheres representam 57% dos profissionais no setor público, enquanto os homens são 43%. Contudo, os diretores e gerentes estão representados por 39% de mulheres e 61% de homens.

[4] HIRATA, Helena; KERGOAT, Danièle. Novas configurações da divisão sexual do trabalho. Cadernos de Pesquisa, 37, 595-609. 2007.

[5] De acordo com dados do Dieese de 2022, no Brasil, de 12,7 milhões de famílias monoparentais com filhos, 87% são chefiadas por mulheres e 13% por homens. Nos demais núcleos familiares, a diferença não é tão grande: 51% das famílias são chefiadas por mulheres. Das 11 milhões de mães solteiras e chefes de família, 62% são negras. Dentro desse subgrupo, 25% prestam serviços domésticos; 17% trabalham nos setores de educação, saúde humana e serviços sociais; e 15% no comércio. Entre as mulheres não negras, a proporção é praticamente inversa: 22% trabalham com educação, saúde humana e serviços sociais, 17%, no comércio e 16% com serviços domésticos (Boletim Especial de 8 de março – Dieese com dados do IBGE – PnadC, 2022)

[6] MEDINA (2021).

[7] Os guias da ONU Mulheres podem ser encontrados no site oficial desta agência: Guía de evaluación de programas y proyectos con perspectiva de género, derechos humanos e interculturalidad (2014); Manual de evaluación de ONU Mujeres: Cómo gestionar evaluaciones con enfoque de género (2015).

Publicado em

Resultados com Diagnósticos Municipais da Situação da Infância e da Adolescência

A Plan Eval traz uma perspectiva da avaliação para todos os trabalhos que realiza. Essa perspectiva consiste em primeiro entender quais são as prioridades de política para então buscar dados da realidade social a fim de lhes dar seja suporte e direcionamento, seja reformulação em face da realidade observada. Essa abordagem dialógica a empresa aplica também em projetos que a princípio se consideram “diagnósticos” ou “levantamentos” mas que na prática se configuram como avaliações, como é o caso dos Diagnósticos Municipais da Situação da Infância e da Adolescência (DMSIA).

Esses diagnósticos resultam de uma diretriz nacional do Conselho Nacional dos Direitos da Criança e do Adolescente (CONANDA) para que municípios produzam um documento único com informações sobre a situação da infância e adolescência em seu território a partir do qual devem ser desenvolvidas as ações do poder público. Para entender como é a construção de um Diagnóstico, conversamos com a Liora Mandelbaum Gandelman, consultora da Plan Eval que lidera os projetos nessa área. Liora é cientista social e vem trabalhando com DMSIAs desde 2016.

Liora Mandelbaum Gandelman

De acordo com Liora, a ideia inicial dos DMSIAs era de que fossem um ponto de partida na identificação de “desafios e fortalezas” da infância e adolescência no município e que a partir deles fosse desenvolvido um Plano Municipal da Criança e do Adolescente, o qual qualificaria o município para pleitear recursos adicionais para executar as políticas na área. Em nível nacional, foi feito um trabalho que serviu de base para o que era esperado nos diagnósticos municipais. Esse diagnóstico nacional atendia ao Estatuto da Criança e do Adolescente (ECA) e aos Objetivos do Milênio das Nações Unidas.

Na prática, há motivações muito diversas para a realização de diagnósticos. Além da qualificação para o pleito de recursos federais e estaduais, notou-se também um anseio espontâneo de prefeituras de aumentar a eficácia da aplicação de recursos e trabalhar com critérios mais objetivos para o repasse de verbas a entidades conveniadas. Outra motivação comum para a realização de DMSIAs é a necessidade de resposta a solicitações de órgãos fiscalizadores como o Ministério Público para corrigir situações de violação de direitos, como o trabalho infantil e a precariedade de abrigos.

Nossa forma de fazer

Tendo em conta essa diversidade de propósitos, a Plan Eval desenvolveu uma abordagem que a produção de informação usando o critério da utilidade. De acordo com a consultora, essa abordagem passa por conversar inicialmente com os secretários municipais e diretores de órgãos relacionados à infância e adolescência para entender suas necessidades práticas e assim orientar a pesquisa para problemas concretos. A equipe também entrevista técnicos que atuam tanto nas secretarias como nos serviços de atendimento direto, incluindo aqueles geridos por organizações sociais a fim de entender como a linha de frente dos serviços pode ser melhorada[1]. Essa informação de primeira mão é então contrastada com fontes secundárias como dados administrativos e populacionais além de discussões com famílias.

“A gente passa um bom período num município, faz todas essas entrevistas, além de recolher os dados que o próprio município tem relacionado à infância e a adolescência. Por exemplo, dados do Centro de Atendimento da Assistência Social, dados da Secretaria de Saúde, de Educação etc. e em paralelo fazemos essas entrevistas com os gestores técnicos. Com isso, a gente consegue identificar as fortalezas e os desafios do município em vários âmbitos, por exemplo saúde, educação, cultura, acesso a lazer, esporte, moradia, sempre tendo em mente a interseção dessas políticas com as necessidades de crianças e jovens”.

É importante frisar, diz Liora, que a Plan Eval sempre trabalha de maneira participativa com os Conselhos Municipais da Criança e do Adolescente (CMDCA), construindo conjuntamente os instrumentos e compartilhando os achados ao longo do processo. O Conselho é um órgão deliberativo, sendo responsável pela aprovação do plano e pela fiscalização da atuação do poder municipal nessa área. O diferencial da atuação da Plan Eval, segundo Liora, é procurar envolvê-lo, em todas as etapas da elaboração do DMSIA (e não só na aprovação final) a fim de garantir a relevância e a legitimidade do diagnóstico.

Essa forma de condução rendeu muitos frutos na prática. O Município de Jundiaí (SP), por exemplo, pediu à Plan Eval que os auxiliasse na construção do Plano Municipal Decenal dos Direitos Humanos da Criança e Adolescente de Jundiaí na sequência do diagnóstico. O plano também foi construído de maneira participativa, com oficinas e estabelecimento de metas de curto e médio prazo para todas as políticas relacionadas à infância e adolescência.

A experiência exemplar

Liora relata que Jundiaí, sendo um município populoso e muito bem estruturado em termos de equipamentos públicos, trouxe novos desafios para a elaboração do DMSIA. Um exemplo são as casas de cumprimento de medidas socioeducativas. No município há uma casa de semiliberdade da Fundação Centro de Atendimento Socioeducativo ao Adolescente (Fundação CASA), que funciona como um Centro de Atendimento não só para Jundiaí, mas para as cidades do entorno. A equipe da Plan Eval passou três dias dentro da Fundação para conseguir desenhar indicadores de qualidade e serviço relevantes. Outro desafio foi a quantidade de equipamentos. O município possui seis Centros de Referência de Assistência Social (CRAS) e dois Centros de Referência Especializado da Assistência Social (CREAS). Para conseguir ouvir técnicos de todas essas instituições foram necessárias várias rodadas de grupos de discussão.

Segundo a consultora, Jundiaí é um município que busca excelência nas políticas para a infância e adolescência, atendendo a todas as prerrogativas previstas em lei. O Conselho Municipal também deu muito suporte à condução do Diagnóstico, fazendo um “bom meio de campo” com as outras secretarias municipais. Ela conclui dizendo que havia um interesse muito grande por parte da gestão municipal para que esse Diagnóstico ocorresse. A presença desses elementos – busca da excelência, envolvimento do Conselho, escuta ampla – favoreceu a realização de um diagnóstico preciso e aplicação imediata, como foi o caso.

Os resultados

Jundiaí é hoje um município referência na primeira infância. As conclusões do Diagnóstico ajudaram na construção de políticas públicas mais eficientes e investimentos em aparelhos de lazer e cultura, além da criação de um site (“Cidade das Crianças”) para acompanhar o desenvolvimento da infância e juventude.

  • O foguete de 10,5 metros de altura é o símbolo do Mundo das Crianças

O Diagnóstico também apoiou a “criação de metas e objetivos norteadores da aplicação de recursos públicos que garantam, de fato, os direitos da infância e da adolescência”[2]. Um exemplo disso foi a construção de um dos maiores parques públicos do Estado de São Paulo, o Mundo das Crianças[3]: o parque possui acesso gratuito e traz a proposta de integração entre a brincadeira, o aprendizado e o contato com a natureza. O Parque também possui uma proposta inclusiva, garantindo acesso universal a todas as estruturas, de modo que crianças de todos os níveis de habilidade possam usufrui-las.

Para saber mais, acesse https://cidadedascriancas.jundiai.sp.gov.br/

[1] Para mais informações, acesse esse post no blog da Plan Eval: https://www.plan-eval.com/blog/?p=962

[2] https://cmdca.jundiai.sp.gov.br/2017/12/hhh/

[3] https://jundiai.sp.gov.br/noticias/2020/12/14/com-conceito-inedito-mundo-das-criancas-e-apresentado-no-aniversario-da-cidade/

Publicado em

Avaliação de Impacto Legislativo – O Projeto de Lei nº 488/2017

Recentemente, em abril/2018, o Senado aprovou o projeto de lei nº 488/2017, que pretende implementar a Avaliação de Impacto Legislativo (AIL) como requisito obrigatório na aprovação de matérias legislativas que instituam novas políticas públicas. Ou seja, toda proposição de política pública deve vir acompanhada de uma prévia avaliação de seu impacto para o governo e para sociedade.

O propósito da avaliação de impacto legislativo é verificar os impactos da aplicação de uma legislação, tanto do ponto de vista econômico e financeiro quanto do ponto de vista social.  Meneguin (2010, p.7) em um texto publicado pela revista do Senado em 2010 explicita que o principal objetivo desta avaliação é verificar sua eficácia, efetividade e eficiência. Ela deve apurar se o comportamento dos destinatários da norma é adequado, se a maneira como o texto está formulado concorre para que os objetivos sejam alcançados, e se os benefícios decorrentes da lei compensarão os custos que acarretará.

O Projeto Lei nº 488/2017, em seu artigo 14-C explicita que a AIL deverá contar com um parecer sobre a constitucionalidade, a juridicidade e a regularidade do ato normativo, bem como com notas explicativas que demonstrem a economicidade, a efetividade, a eficácia e a eficiência das medidas do projeto.

Estas notas explicativas consistem na Avaliação e Impacto Legislativo, que, se aprovada, deverá conter:

  • Síntese qualitativa e quantitativa do problema ou da situação que reclama providências;
  • Objetivos da proposição e sua vinculação com o problema definido;
  • Alternativas existentes para a solução do problema identificado, com respectiva previsão dos impactos econômicos e sociais, justificando a escolha da solução ou providência contida no projeto proposto, com comparação das análises de custo-benefício global de cada alternativa;
  • Custos administrativos da solução ou providência contida no projeto proposto, caso a alternativa estabelecida na proposição entre em vigor;
  • Indicação da existência de prévia dotação orçamentária ou a fonte de recursos, quando a proposta demandar despesas, e como a ação está enquadrada no Plano Plurianual vigente.

Meneguin (2010) afirma que a AIL vai além da análise jurídica e orçamentária que eram feitas mais comumente, sendo inovadora ao propor a análise econômica e social, além da mensuração dos custos administrativos da solução que irá se desdobrar em uma política pública.

O ato de avaliar um projeto de lei antes mesmo de sua aprovação (ou seja, prospectivamente) considera os efeitos que esta provavelmente produzirá, bem como consequências inesperadas pelo legislador. Assim é possível corrigir possíveis falhas do projeto e simular cenários alternativos àqueles considerados pelos deputados e senadores.

Com a AIL a decisão política tende a ficar mais transparente e embasada em dados reais do impacto do projeto. Para tanto é necessário que a avaliação ocorra de maneira imparcial e transparente.

Um dos argumentos relativos à importância da aplicação da AIL é de que ela facilitaria e embasaria a aprovação de políticas públicas, e até mesmo facilitaria a aprovação de medidas impopulares, que através da AIL conseguissem se mostrar viáveis e necessárias.

Além de uma ferramenta de avaliação, o PL 488/2017 pode ser considerado estrategicamente como um instrumento de inserção de temas na agenda do poder legislativo. Um projeto de lei avaliado a priori pode ter suas chances de aprovação ampliadas, uma vez que terá material para demonstrar sua relevância e seu impacto para o país.

O Projeto de Lei 488/2017 aguarda votação na Câmara dos Deputados, sem data definida e pode ser acessado pelo link: https://www25.senado.leg.br/web/atividade/materias/-/materia/131852

Uma boa maneira de demonstrar sua importância seria realizar uma análise de seu impacto legislativo. Será que os legisladores se animam a dar o exemplo? Vamos aguardar.

Projeto de Lei do Senado n° 488, de 2017 (complementar), disponível em <http://www2.senado.leg.br/bdsf/handle/id/182499>

Meneguin, Fernando Boarato, Avaliação de Impacto Legislativo no Brasil, Brasília : Senado Federal, Consultoria Legislativa 03/2010 25 p., disponível em < https://www25.senado.leg.br/web/atividade/materias/-/materia/131852>

Publicado em

Contrato de Impacto Social (CIS)

Recentemente o Governo do Estado de São Paulo lançou uma Consulta Pública referente a um Contrato de Impacto Social (CIS) na área da educação. Em dezembro deste ano, após o término dessa consulta, o governo vai lançar um Edital de Licitação para estabelecer o Contrato de Impacto Social, cujo objetivo final é identificar políticas públicas que sejam efetivas para melhorar alguns indicadores da área de educação.

Essa nova modalidade de contratação de serviços, ainda inédita no Brasil, permitirá ao governo atrelar a remuneração dos serviços contratados aos resultados produzidos pelas instituições contratadas. O CIS prevê que o contratado tenha por um lado a flexibilidade na execução das atividades e, por outro lado, fique responsável pelo risco de as metas não serem atingidas.

A grande novidade nesse processo é que, conforme noticiado (http://www1.folha.uol.com.br/educacao/2017/11/1937836-sp-pagara-a-entidade-que-cumprir-meta-e-evitar-evasao-no-ensino-medio.shtml), instituições privadas e organizações sem fins lucrativos vão propor intervenções que auxiliem  o Governo do Estado de São Paulo a elevar os índices de aprovação e reduzir a evasão escolar no ensino médio.

A princípio, serão selecionadas 122 escolas da região metropolitana do Estado.  Dessas 122 escolas, metade (61 escolas) vai receber uma intervenção proposta, e as outras 61 escolas vão servir como um parâmetro de comparação. Importante ressaltar que a seleção dessas escolas deverá obedecer a critérios técnicos para garantir que essa comparação seja feita de forma adequada.

Após um período determinado no processo licitatório, será feita uma avaliação de impacto das intervenções propostas, mensurando o tamanho do efeito de cada intervenção. A remuneração das contratadas vai ocorrer apenas nos casos em que forem identificados efeitos positivos desejados em uma dimensão relevante, definida por meio de metas.

Logo após o lançamento dessa consulta pública, muitas críticas foram feitas e algumas questões sobre como será operacionalizado esse processo foram colocadas. Em resumo, essa inovação proposta pelo Governo do Estado recebeu críticas principalmente em dois pontos: primeiro pela metodologia que será empregada na aplicação das intervenções e na consequente avaliação que será produzida; o segundo ponto de discussão é a forma de remuneração das instituições que vão fazer as intervenções.

As críticas mais comuns acerca da metodologia questionaram o fato de deixar alunos de 61 escolas sem receber o tratamento ofertado aos alunos das outras 61 escolas. Na visão de alguns, isso criaria mais uma disparidade no sistema de ensino e seria injusta com os alunos das escolas que não forem sorteadas para receber a intervenção.

Quanto a esse ponto, podemos afirmar com alto grau de certeza que a metodologia de avaliação de impacto proposta é exatamente a mesma que é aplicada no mundo todo para calcular o impacto de intervenções nas mais diversas áreas, sejam na saúde, educação, habitação, etc

Ao contrário do que se disse e tendo em vista que os recursos financeiros são escassos, essa estratégia de avaliação não é injusta porque a ideia é fazer a intervenção como um projeto piloto e, caso ela demonstre ser efetiva, a política pode ser ampliada para toda a rede.

Para ilustrar esse argumento, imagine que você queira expandir o exemplo da Escola da Ponte (https://pt.wikipedia.org/wiki/Escola_da_Ponte), mas para isso o governo peça que você demonstre que os efeitos positivos deste tipo de escola podem ser obtidos na rede de ensino como um todo, e não apenas em uma unidade muito específica. Como você faz?
Primeiro você busca recursos humanos e financeiros para implementar esse projeto. Mas como recursos não são infinitos você sabe que tem que obter o suficiente para implementar o projeto em pelo menos 30 escolas (esse número mínimo pode variar de acordo com o objeto de estudo).

Em seguida você identifica as 30 escolas da rede, considerando que nesse grupo deve haver alguma heterogeneidade, e que as escolhidas possuem as condições necessárias para que o modelo Escola da Ponte funcione. Essas escolas serão o piloto da política pública que você quer implementar, isso é chamado de Grupo de Tratamento.

O próximo passo é identificar na rede outras 30 escolas que tenham características semelhantes às escolas do Grupo de Tratamento, isso é feito para que você possa ter uma base de comparação. Essas escolas serão chamadas de Grupo de Controle e não receberão a intervenção que você está propondo.

Ora, mas se eu acredito que o modelo da Escola da Ponte é uma boa política, por que não fazer isso nas 60 escolas?

Primeiro porque mesmo que você tenha alguma informação sobre casos de sucesso de algumas escolas que seguiram o modelo da Escola da Ponte, ainda não há como saber se esse modelo funciona apenas em condições muito específicas, ou se ele pode mesmo ser aplicado em toda uma rede de ensino. Então você faz um piloto em um número maior de escolas, com características heterogêneas, para saber se esse projeto pode ser aplicado na rede de ensino.

Se os resultados forem positivos, você terá segurança de que os recursos necessários para expandir essa política para todas as escolas da rede vão trazer o retorno esperado. Porém, se na pesquisa você identificar que os resultados positivos são obtidos apenas em casos específicos, ao fazer o piloto você evitou que recursos fossem empregados em larga escala, sem provocar os efeitos esperados na rede como um todo. Ou seja, você evitou desperdício de recursos públicos.

Segundo porque o modelo da Escola da Ponte é apenas um exemplo dentre várias experiências em educação que foram aplicadas em estudos de caso. Imagine se o governo fosse adotar todos os modelos que são sugeridos. Seria possível fazer isso na rede toda de uma só vez? A resposta é não.

Mas, seguindo esse modelo, os alunos das escolas do grupo de Controle não serão prejudicados?

Não, os alunos das escolas que compõem o grupo de controle não perdem nada do que já recebem, mas apenas não ganham o benefício extra que é oferecido às escolas do grupo de tratamento. Esse grupo serve para mensurar o que teria acontecido com os alunos das escolas de tratamento, caso não houvesse o tratamento. Isso é chamado de contra-factual.
Para fazer a mensuração dos efeitos do modelo Escola da Ponte, os pesquisadores vão coletar dados nas 60 escolas, em três momentos distintos: antes das intervenções começarem; ao longo da execução do projeto; e ao final de um período no qual se espera que a intervenção tenha provocado os efeitos esperados.

Por meio da comparação da evolução dos dois grupos será possível identificar qual o efeito real do tratamento para então saber se é possível e se vale a pena expandir o modelo da Escola da Ponte para toda a rede de ensino.

Se os resultados forem positivos, você terá elementos para convencer o governo a adotar a mesma política em toda a rede de ensino, e assim beneficiar todos os alunos da rede.
O segundo ponto que também foi muito questionado refere-se à remuneração das instituições, que será feita apenas para as que obtiverem resultados positivos.
Esse ponto merece bastante atenção porque pode afetar a implementação das intervenções, uma vez que a pressão sobre as escolas do grupo de tratamento será maior do que já ocorre naturalmente nesse tipo de estudo. Segundo porque, se não houver um controle muito rígido, pode haver influência no cálculo do impacto.

Uma solução para isso seria criar uma comissão de pesquisadores da área para selecionar apenas instituições que estejam propondo intervenções que a comissão entende que vão dar o resultado esperado, e pagar pela intervenção em si. O risco para o governo estaria limitado ao valor empregado nessas intervenções. Se os resultados não forem os esperados será necessário verificar se houve problema na implementação, ou se a intervenção não é efetiva como se esperava. Porém, se o efeito for positivo, o governo poderá expandir a política para a rede de ensino, sem maiores riscos de má gestão dos recursos públicos.

Publicado em

Avaliar melhor para reduzir a pobreza

Em seu livro Poor Economics, Esther Duflo e Abhijit V. Banerjee se inserem em uma discussão acalorada sobre como acabar com a pobreza no mundo. O debate entre Jeffrey Sachs, da Universidade de Colúmbia (End of Poverty, 2005), e William Easterly, da Universidade de Nova Iorque (The White Man’s Burden, 2006) transcorre há mais de 10 anos em torno da eficácia da ajuda internacional. Sachs, que além de professor é enviado especial das Nações Unidas na África, defende que a assistência deve ser prestada em grande escala e que isso não só vai elevar o nível de desenvolvimento de países pobres, como é uma obrigação dos países desenvolvidos promovê-la. Já Easterly, ex-gerente do Banco Mundial, discorda, afirmando que o uso indiscriminado dos recursos da cooperação internacional leva a corrupção e péssimos incentivos para os países que recebem o dinheiro, mantendo-os com níveis baixos de desenvolvimento humano.

Já o livro Poor Economics, Esther Duflo e Abhijit V. Banerjee, não trata a questão do assistencialismo por si só como um problema ou uma solução para o subdesenvolvimento. O argumento principal da obra é que precisamos estimar bem o impacto dos projetos por meio de experimentos, para sabermos exatamente quais ações reduzem a pobreza e em que medida. A ajuda internacional seria mais eficaz quanto mais se conheça as causas da pobreza no contexto do país receptor, possibilitando assim a aplicação de uma estratégia que comprovadamente funcione para atacá-las. Na Plan corroboramos essa visão, acreditando ser necessário alocar os recursos de forma ótima na cooperação internacional, aprendendo com avaliações anteriores, bem como tratar a pobreza como um fenômeno dinâmico, sensível a contexto e multidimensional.

Nesse espírito, terminamos recentemente um estudo de desenho semi-experimental medindo o retorno para a sociedade da rede de Centros Urbanos de Cultura, Arte, Ciência e Esporte (CUCAs) de Fortaleza. Esses centros são equipamentos públicos onde pessoas de 15 a 29 anos podem praticar esportes, ter acesso à cultura, como teatro e dança, e atendimento psicossocial com auxílio de pessoal especializado no desenvolvimento pessoal do jovem para melhor formá-lo para o mundo.

Procurando estimar como a participação nos CUCAS afeta o futuro dos jovens, realizamos encontros, debates e entrevistas para entender melhor os processos de transformação pelos quais esses jovens passam ali. Em seguida aplicamos questionários padronizados com amostras aleatórias representativas de pessoas participantes e não-participantes do programa. Como não havia linha de base para comparação, tivemos de fazer aproximações para poder estimar o que havia mudado na vida desses jovens em termos de competências socioemocionais, além de qualificação profissional, autoestima, perspectiva de futuro, mudanças de comportamento e valores, entre outros resultados que se esperava que o programa obtivesse. Desenvolvemos técnicas de perguntas para que as pessoas reconstruíssem como estavam há 3 anos, antes de a Rede CUCA ser implantada, e se comparassem com o momento atual.

Com os dados em mãos, utilizamos a técnica de diferenças das diferenças, que compara as evoluções dos grupos controle e tratamento em dois momentos do tempo. Quando observamos as duas diferenças, a primeira entre o grupo tratamento antes e depois do CUCA, e a segunda entre o grupo tratamento e controle nos mesmos momentos, podemos estimar o impacto do programa considerando que ambos foram expostos a uma gama semelhantes de fatores externos. Ao final, demonstramos, por exemplo, que as probabilidades de os participantes do programa terminarem o ensino médio e tentarem ingressar no ensino superior são significativamente maiores que a de outros jovens.

Para estudar o impacto financeiro do CUCA sobre os rendimentos de seus participantes, utilizamos os resultados das regressões e os multiplicamos pelos valores apurados pelo IBGE para as faixas de renda associadas a cada nível de escolaridade. Como os resultados das regressões indicaram que os frequentadores do CUCA tendem a ter escolaridade mais alta do que a do grupo de controle, é de se esperar que os rendimentos daqueles seja consequentemente maior. A soma desses recebimentos futuros representará um retorno de valor para a sociedade de aproximadamente 3 vezes o montante investido na Rede CUCA.

Com esse estudo pudemos contribuir mostrando que a Rede CUCA pode trazer não só diversão, esporte e cultura para jovens de Fortaleza, mas também trabalho e renda, reduzindo a pobreza. Com o possível ganho de longo prazo medido para os recebimentos do trabalho em um número significativo de casos (foram 263.409 participantes de atividades do CUCA nos últimos 3 anos), a região pode desenvolver novos empregos, movimentar mais bens e estimular a própria economia, melhorando a vida não só daqueles que receberam as vantagens do CUCA, mas também de todos em volta.

As avaliações que combinam análises qualitativas com experimentos controlados para estimar a eficácia dos programas sociais voltados aos grupos mais pobres têm peso crescente no portfólio da Plan, com projetos de grande escala em curso no Nordeste rural do Brasil voltados ao desenvolvimento infantil e à geração de renda no campo. Por meio destes, conforme defendem Duflo e Banerjee, contribuímos para escolher as estratégias mais eficazes de redução das pobrezas; por meio daquelas, entendemos como operam e como os pobres as vivenciam, fornecendo elementos para que sejam adaptadas pelos governos a seus contextos locais.

Fontes:

Esther Duflo & Abhijit V. Banerjee, “Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty”; 2011, PublicAffairs

Esther Duflo, TED Talk, “Social Experiments to Fight Poverty”; https://www.ted.com/talks/esther_duflo_social_experiments_to_fight_poverty

Jeffrey Sachs, “The End of Poverty: How We Can Make It Happen In Our Lifetime”; 2005,             Penguin Press

William Easterly, “The White Man’s Burden: Why the West’s Efforts to Aid the Rest Have Done So Much Ill and So Little Good”; 2006, Penguin Books

Publicado em

Impact Bonds: avaliando o financiamento privado de programas sociais

Pela primeira vez em um país em desenvolvimento, na Colômbia, foi lançado um “Social Impact Bond” (SIB). O programa patrocinado pelo título de dívida tem como objetivo ajudar 514 indivíduos classificados abaixo da linha de pobreza ou desalojados devido ao conflito interno que vive o país a encontrar trabalho. O foco são pessoas formadas no ensino médio, com 18 a 40 anos, que, na data de início do programa, não possuíam emprego. Financiado em 50% pelo governo do país e 50% pelo governo da Suíça, por meio de agências internacionais de apoio em parceria com o Banco Interamericano de Desenvolvimento (BID), a trajetória do SIB vem sendo acompanhada de perto pela Instiglio, organização sem fins lucrativos, dedicada ao desenvolvimento de Impact Bonds em todo o mundo. A consultoria Deloitte será a responsável pelas avaliações independentes necessárias neste processo.

O Impact Bond é um sistema de financiamento de políticas de interesse da sociedade. Além do SIB, há também o Development Impact Bond (DIB), que já é utilizado em outros dois países em desenvolvimento, Peru e Índia. Tanto SIB como DIB possuem a mesma inspiração financeira. Um operador privado aporta o capital inicial e assume o risco do investimento. Caso tenha sucesso na avaliação de impacto feita por um organismo independente, o governo ou garantidor privado cobre seu investimento e uma margem de lucro pré-definida. A maior diferença entre SIB e DIB é o financiador final; no primeiro, este é o governo, enquanto no DIB o financiador é uma instituição garantidora privada.

Para os avaliadores profissionais, a parte que chama mais atenção é o fato de o sistema depender de medições externas, independentes dos dois agentes principais do contrato, para certificar a eficiência e os incentivos corretos na prestação dos serviços propostos pelos Impact Bonds. No caso do DIB peruano, a intervenção é um suporte para o cultivo de cacau pela população indígena em áreas da Amazônia. O objetivo é aumentar a produção e o retorno financeiro da população da região com a commodity. A medição é feita com uma linha de base, definida no início do tratamento, e com indicadores medidos durante e após a intervenção. No entanto, as medições nesse caso não possuem grupos de controle, o que pode gerar distorções na análise dos dados.

Brookings

Já na Índia, o primeiro caso de um DIB para educação ocorreu no Rajastão. O projeto é direcionado para educação de meninas, um problema fundamental no país asiático e outros lugares do mundo, onde muitas vezes mulheres são impedidas pelas próprias famílias de ter qualquer tipo de educação. O projeto consiste em dar suporte à ONG Educated Girls, que tem como objetivo aumentar a assiduidade na escola, as notas e diminuir a taxa de evasão de meninas e meninos. O projeto inclui equipe que vai de casa em casa conversar com pais e mães para convencê-los a matricularem seus filhos e, principalmente, filhas nas escolas.

O sistema de medição de impacto do projeto de educação na Índia tem formato diferente do peruano. Além da linha de base, a empresa de consultoria IDinsight, contratada para fazer a avaliação de impacto externa, utilizou a base de escolas da ONG Educate Girls para formar um grupo controle que não receberia o tratamento, sendo mantido para comparação. Como as escolas da base de dados foram escolhidas de forma aleatória para o grupo controle e tratamento, podemos dizer que a avaliação tem formato experimental, e que, portanto, se presta a determinar se o tratamento efetivamente causou o impacto observado.

Fonte: Instiglio

No caso peruano, como estamos falando de uma avaliação com comparação entre linha de base e resultado final, sem grupo controle, fatores não observáveis podem gerar problemas de inferência de causalidade. Um exemplo é o desempenho do mercado de cacau no mundo. Caso o impacto externo no mercado de cacau seja positivo, os indicadores serão impactados positivamente e não necessariamente esse impacto estará relacionado com o programa. A falta de grupo de controle será um problema em casos como esse, podendo premiar (ou não) o controlador do programa devido a fatores que ele não controla, reduzindo a validade da avaliação e possivelmente causando futura desconfiança em novos acordos na região.

Já o formato da avaliação de impacto utilizada no DIB indiano não só utiliza grupo controle, como escolhe grupos controle e tratamento por sorteio aleatório. Primeiro, a utilização de um grupo controle permite que impactos provenientes de outras fontes que não o programa possam ser retirados dos impactos que observamos nos indicadores, deixando apenas aqueles relacionados ao tratamento. Nesse caso, por exemplo, uma melhora estrutural no sistema educacional da Índia seria identificada por tratamento e controle e não entraria na contabilidade do indicador final, que compara um com o outro. Segundo, as amostras serem aleatórias para grupos tratamento e controle traz mais eficiência ao avaliar os reais impactos do programa, mostrando impactos causais entre indicadores e tratamento.

Em suma, apesar de entender que nem sempre temos a possibilidade de fazer um sistema de avaliação de impacto com grupos tratamento e controle criados aleatoriamente, é importante sempre ter em mente possíveis formas de retirar da avaliação causas externas à intervenção que não deveriam ser contabilizadas.

Programas como os Impact Bonds são muito bem vindos para a melhoria do funcionamento e da prestação de serviços de interesse público e social no mundo, principalmente para países em desenvolvimento. O mais interessante desse sistema é ele buscar a eficiência por desenho, exatamente porque utiliza sistemas de medição para certificar que o serviço seja prestado e atestar a qualidade oferecida. Isso tudo tirando o ônus do risco das mãos do setor público e instituições financiadoras, além de jogar incentivos diretamente para o setor privado, que, de modo geral, lida bem com estas variáveis. Na Plan vemos com muito bons olhos iniciativas que valorizam a medição para garantir o maior impacto possível de uma intervenção, seja por parte do setor público ou privado.

Fontes:

  • Autonomous and sustainable cocoa and coffee production by indigenous Asháninka people of Peru. Field mission for the verification of impact indicators of the Development Impact Bond agreement CFC/2013/03/139FT: http://common-fund.org/fileadmin/user_upload/Verification_Report.pdf
  • Brookings Institute, https://www.brookings.edu/blog/education-plus-development/2016/07/18/educate-girls-development-impact-bond-could-be-win-win-for-investors-and-students/
  • Brookings Institute, https://www.brookings.edu/blog/education-plus-development/2017/03/31/colombia-leads-the-developing-world-in-signing-the-first-social-impact-bond-contracts/
  • Instiglio, http://instiglio.org/educategirlsdib/wp-content/uploads/2015/09/Educate-Girls-DIB-Sept-2015.pdf
  • Instiglio, http://www.instiglio.org/en/impact-bonds/
  • Instiglio, http://www.instiglio.org/en/sibs-worldwide/
  • William R. Shadish, Thomas D. Cook, & Donald T. Campbell; “Experimental and Quasi-Experimental Designs for Generalized Causal Inference”; Houghton Mifflin Company. 2002.
Publicado em

A importância da Linha de Base para a Avaliação de Impacto na Gestão de Políticas Públicas

Certamente você já deve ter visto propagandas de gestores públicos dizendo quanto foi investido em determinado programa, quantas pessoas foram beneficiadas, quantos uniformes escolares foram distribuídos, etc… À primeira vista isso pode parecer suficiente para avaliar uma gestão, contudo, é importante ter em mente que divulgar o montante investido ou o número de beneficiários é muito diferente de informar o impacto que os investimentos públicos tiveram na vida da população.

Ou seja, dizer que mil pessoas foram atendidas no novo posto de saúde não significa exatamente que a qualidade do serviço de saúde aumentou. Afirmar que houve uma expansão na capacidade do serviço diz pouco ou quase nada sobre o impacto que esta ação teve na vida dos cidadãos atingidos. Para saber qual o efeito desta ação seria necessário averiguar como esta ampliação de atendimento resultou na melhora dos indicadores de saúde, se é que estes indicadores realmente melhoraram. Isto permitiria ao gestor divulgar não apenas o número de atendidos, mas o efeito produzido por esta ação.

Ainda que isso não pareça uma prioridade dentre a maior parte dos gestores, avaliar o impacto das políticas não é apenas uma maneira de melhorar o accountability da gestão, mas também uma forma de gerar dados que possam subsidiar as decisões que devem ser tomadas.

Além de não ser comum a preocupação com a mensuração do impacto das políticas implementadas, ainda há entre os gestores muita insegurança sobre como fazer uma avaliação deste tipo. Vejamos um exemplo claro de como uma avaliação de efeito de uma política pode ser equivocada.

Imagine que um gestor observou que os alunos de uma determinada escola aumentaram suas notas depois que houve uma mudança no cardápio da merenda escolar. A partir desta observação ele elaborou um relatório apontando essa melhora no desempenho escolar como sendo efeito da mudança no cardápio merenda. Até aqui tudo parece coerente, certo? Errado! A conclusão que o gestor chegou pode estar completamente equivocada e seu relatório pode passar a falsa ideia de que o um novo cardápio vai auxiliar na melhora do rendimento escolar.  Isso acontece porque diversos outros fatores podem ter influenciado as notas dos alunos e, talvez, a mudança no cardápio não tenha relação alguma com o desempenho escolar destes estudantes.

Qual seria então a maneira ideal para se mensurar o efeito de uma determinada política pública na vida dos beneficiários? A resposta é: a partir de uma avaliação de impacto[1] que permita uma comparação da evolução do indicador analisado com um contrafactual. A princípio isso pode parecer muito complexo, mas este exercício analítico é muito mais simples do que parece, na realidade todo o raciocínio deste tipo de investigação parte de uma pergunta trivial: o que teria acontecido com os beneficiários da política pública caso ela não tivesse sido implementada?

Seguindo no mesmo exemplo da mudança no cardápio da escola, a pergunta a ser respondida seria: o que teria acontecido com estes estudantes caso o cardápio tivesse permanecido como era anteriormente?

Sabendo como eram as notas dos alunos antes e depois da mudança no cardápio e estimando o que teria acontecido caso tal mudança nunca tivesse sido implementada é possível comparar os dois cenários e mensurar o verdadeiro impacto da política pública em questão.

Apesar de não ser difícil fazer tal comparação, ela requer uma preparação anterior à implementação da política pública a ser avaliada, e isso ocorre por dois motivos. Primeiro porque neste tipo de análise é necessário ter informações sobre o antes (Linha de Base) e o depois da intervenção (Avaliação Final dos Resultados). Segundo porque para fazer um contrafactual é fundamental ter informações não apenas sobre as pessoas que serão beneficiadas pela política pública (Grupo de Tratamento), mas também é necessário reunir dados sobre os indivíduos que não vão ter acesso a tal benefício (Grupo de Controle). A ideia aqui é comparar a evolução destes dois grupos de indivíduos ao longo do tempo e, a partir disso, calcular o real impacto da política avaliada.

A Linha de Base é importante para medir a condição anterior à intervenção e desta maneira municiar o gestor com informações da situação dos indicadores que deverão ser afetados com a implementação da política pública; a Avaliação Final busca identificar quais os resultados obtidos com as ações dos governos. Por fim, o papel do Grupo de Controle é servir como parâmetro da comparação, este grupo de pessoas será analisado para que se possa estimar o que teria acontecido caso o cardápio não tivesse sido alterado.

Na ilustração abaixo podemos visualizar melhor como é feita tal comparação.

A diferença na evolução da nota do Grupo de Tratamento e a evolução da nota do Grupo de Controle é o impacto obtido pela implementação da política pública, no caso a mudança no cardápio da escola.

Neste início de 2017, mais de 4 mil novos prefeitos e prefeitas estão assumindo seus cargos e com eles e elas surgem novas ideias e muito provavelmente novas políticas públicas. Ou seja, neste momento abre-se uma janela de oportunidade para que os gestores possam planejar não apenas suas intervenções, mas também tracem planos sobre como avaliá-las adequadamente.  Apenas desta forma eles poderão ter certeza dos reais impactos que os recursos públicos investidos proporcionaram aos cidadãos beneficiados. Com isso toda a sociedade ganha, pois teremos maior transparência e confiabilidade acerca das transformações sociais que as políticas públicas implementadas alcançaram. Ademais, ao fim de uma gestão, ter esses dados pode ser uma peça chave para mostrar à população que a contribuição deixada para o município é muito mais do que uma simples peça publicitária.

[1] Importante ressaltar que a avaliação de impacto pode ser prospectiva ou retrospectiva . Como o objetivo do texto é propor um modelo de avaliação mais próximo do ideal, aqui vamos tratar apenas do modo prospectivo porque é ele que oferece maior confiabilidade na mensuração do impacto. (Gertler, Paul J., Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J.Vermeersch. 2016. Impact Evaluation in Practice, second edition. Washington, DC: Inter-American Development Bank and World Bank. doi:10.1596/978-1-4648-0779-4. License: Creative Commons Attribution CC BY 3.0 IGO http://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice)

Publicado em

Reconhecimento

Na Plan temos como princípio que a prática da pesquisa faz com que os nossos consultores estejam mais preparados também para a reflexão teórica. Isso porque quem vai a campo tem a oportunidade de testar suas hipóteses, confrontando-as com a realidade vivida pelas pessoas, realidade que refuta, afirma e estimula com uma veemência que o argumento e o contraditório, no plano das ideias, não alcançam. Nestes tempos de juízos baseados em informação de segunda mão alimentados pela hipercirculação das ideias na internet, é tentador se engajar no debate a partir de pontos de vista autorizados por outros, sem que nos demos conta que algumas vezes as autoridades também apoiam suas teses em informações colhidas precariamente.

Como sempre –mas mais ainda hoje porque as notas metodológicas somem nos rodapés do desinteresse e da falta de tempo do público– o teste empírico é indispensável para que o conhecimento sobre a realidade social qualifique o discurso. Para o avaliador essa missão é crítica pois suas conclusões informarão, além da teoria sobre como fazer programas e projetos melhores, a execução de políticas que afetarão a vida das pessoas.

Por isso fiquei muito orgulhoso com o reconhecimento que grandes instituições produtoras de saber deram a quatro membros de nosso escritório este ano. Uma delas, Rafaela Antoniazzi, foi aceita no programa de doutoramento em economia da Fundação Getúlio Vargas. Seus posts neste blog dão conta de como sua perspectiva evoluiu como resultado da imersão na realidade das escolas, empresas, agricultores, ONGs, governos e tantos outros atores que teve a oportunidade de entrevistar nesses anos de Plan, abrindo sua perspectiva sobre as possibilidades dos métodos mistos de pesquisa.

Cristiana Martin e Peter Smith, que outro dia mesmo, cientistas sociais recém-saídos da faculdade, tiveram na Plan uma porta de acolhimento no mundo profissional, ingressaram ambos no programa de mestrado em sociologia da Universidade de São Paulo. Os dois têm abraçado desafios como investigar a realidade vivida pelas pessoas da zona rural do Maranhão, dos bairros pobres do ABC paulista, dos vilarejos do extremo norte do Amapá, de territórios marcados por problemas sociais seriíssimos como a exploração de crianças e o tráfico de pessoas, entre tantas outras viagens a campo. Esses mesmos jovens sociólogos aprenderam, pelo calejamento da prática, a ter a segurança necessária para entrevistar também pessoas em posição de poder nas inúmeras avaliações institucionais que a Plan faz.

Por fim, e não menos entusiasmante, a ex-advogada Veridiana Mansour, que se fez avaliadora neste escritório após concluir um mestrado de transição de carreira, foi contratada pela FAO – Organização das Nações Unidas para a Alimentação e a Agricultura, em seu centro mundial de avaliação, em Roma. Uma notícia agridoce pela falta que nos faz, mas que mais que tudo corrobora sua incrível dedicação ao trabalho de pesquisa.

Parabéns a eles e a toda a equipe da Plan, e um 2017 de mais prática e mais reflexão para todos nós. Se tiver que amassar barro, nós amassamos, como a Cris e a Rafa aí na foto.

Publicado em

Transparência na gestão pública: monitoramento de políticas por meio de dados abertos

Uma das maneiras mais simples de se monitorar políticas públicas é recorrendo a dados da gestão pública que as instituições de governo disponibilizam online.

No mundo todo, é crescente a demanda pela transparência na divulgação desses dados. No Brasil, os órgãos e entidades públicas são obrigados a disponibilizar informações desde que a Lei de Acesso à Informação (Lei nº 12.527/2011) entrou em vigor em maio de 2012. Atualmente, o país ocupa o 18º lugar no Global Right to Information Rating, que ranqueia as legislações mais rigorosas, apesar de ter sido o 89º país a adotar uma lei de acesso à informação pública. A LAI já tem quatro anos e ainda há muitas falhas no atendimento aos pedidos de acesso à informação.

Na busca por governos mais transparentes, diversas iniciativas e portais foram criados tanto para facilitar o acesso e compreensão de dados disponibilizados, monitorando o desempenho ou gastos das gestões públicas, como para monitorar e cobrar a transparência dos governos nas instâncias municipal, estadual e federal.

Esses portais também auxiliam nas pesquisas de monitoramento quando é necessário recorrer a dados secundários. Tivemos oportunidade de conhecer algumas iniciativas ao longo dos nossos trabalhos e vamos partilhar algumas aqui no Blog.

Em trabalho com a Fundação Lemann, utilizamos o portal QEdu que monitora dados sobre a educação no Brasil. É possível comparar dados do Enem, Ideb, Censo Escolar e Prova Brasil por municípios e por todas as unidades escolares públicas e privadas, municipais e estaduais. O portal também possibilita desmembrar alguns indicadores, como o Ideb, formado pela nota da Prova Brasil no aprendizado (conhecimento de conteúdos) e no fluxo (taxa de aprovação).

Para o Instituto Ethos, trabalhamos com o Cidade Transparente. Trata-se de uma iniciativa que mensura a transparência municipal através dos Indicadores da Cidade Transparente, “obtido por meio da análise de informações e dados da administração pública” que é “adaptado da metodologia de avaliação da transparência das cidades-sede da Copa do Mundo desenvolvida no âmbito do projeto Jogos Limpos”, avaliado pela Plan. A iniciativa busca estimular a participação social e contribuir para melhoria da transparência dos municípios brasileiros.

Ainda monitorando o avanço da transparência no país, o Transparência Brasil acompanha informações sobre a vida e as decisões políticas no país. Três projetos principais são desenvolvidos pela organização: “Excelências”, com informações sobre o histórico dos congressistas, incluindo processos na justiça, multas, declarações de bens, etc; “Meritíssimo”, um acompanhamento das decisões dos ministros do STF; “Às Claras”, um banco de dados com informações sobre financiamento de campanhas eleitorais municipais, estaduais e nacionais desde 2002. O portal deve lançar em breve o “Cadê minha escola?” para monitorar de maneira participativa a construção de escolas e creches públicas.

No âmbito do monitoramento de arrecadação e gastos dos municípios, a Fundação Brava desenvolveu o portal Meu Município, que usa dados do Ministério da Fazenda (Secretaria do Tesouro Nacional) e do IBGE. A metodologia utilizada pode ser consultada aqui.

Conheça mais sobre as iniciativas pela transparência no Brasil:

Retps: Rede pela Transparência e Participação Social
GPoPAI – USP: Grupo de Pesquisas em Políticas Públicas para o Acesso à Informação
Eaesp – FGV
Artigo 19

Publicado em

Reduzindo a pobreza pela política habitacional

Idealmente, espera-se que as políticas públicas encontrem soluções sustentáveis para problemas sociais, ou seja, com algum grau de permanência. A pobreza, visível todos os dias das ruas aos noticiários, é uma das principais questões de política pública. Programas sociais já tiveram impacto em reduzi-la (Bolsa Família, por exemplo), mas no que tange a pobreza que dorme embaixo de viadutos, nas portas de comércios e grelhas de ventilação —a pobreza dos desabrigados— ainda há muito o que fazer.

Este artigo discute um pouco dos atuais problemas habitacionais nos grandes centros urbanos dos Estados Unidos e apresenta algumas das políticas públicas realizadas por lá.

O problema de moradia e o crescimento dos homeless nos Estados Unidos é cada vez mais debatido nos noticiários. As grandes cidades nunca tiveram índices tão altos de populações de rua.  Um dos motivos para tal fenômeno é o crescimento no número de despejos: por não conseguirem pagar o aluguel ou em alguns casos a hipoteca, famílias são expulsas do lugar onde moram, e a dificuldade de encontrar vagas em abrigos ou locadores que as aceitem aumenta a probabilidade de ficarem desabrigadas.

O pesquisador e sociólogo urbano de Harvard, Matthew Desmond, realizou um recente estudo sobre despejos nos Estados Unidos. Baseado em dados quantitativos e pesquisa de campo com 8 famílias que sofreram despejos na cidade de Milwaukee (WI), ele concluiu que os despejos são uma causa da pobreza e não o resultado dela:

“Famílias que sofrem despejo perdem a moradia e seus pertences, que ficam ou empilhadas na calçada ou são armazenadas. Se as agora famílias de rua deixaram de realizar os pagamentos, seus pertences são ou vendidos ou jogados no lixo. Crianças perdem a escola e pessoas perdem seus trabalhos. Os despejos vêm junto com um histórico da família registrado em tribunal, e isso pode afetar onde a família vai viver dali em diante. Muitos proprietários recusam famílias que tenham sido despejadas recentemente. Isso faz com que essas famílias passem a ocupar bairros e moradias piores. As autoridades responsáveis por habitação pública tratam despejos como um entrave às inscrições das famílias em programas sócias de habitação, o que significa que as que mais precisam de ajuda, as despejadas, são negadas. (…). [O despejo] é um fator que desencadeia depressão; com efeitos na saúde mental. Você coloca tudo isso na ponta do lápis e chega a uma nova forma de ver a pobreza, uma que vê os despejos como algo que coloca as famílias em uma trajetória social muito mais complicada.”

É fácil associar despejos à “simples” incapacidade de pagar o aluguel. No entanto, essa percepção deve ser colocada em perspectiva.

Desmond menciona que quando se lê reportagens sobre desocupações no New York Times nos anos 1930 e 1940, o despejo era algo que chamava atenção das pessoas e não era frequente. Hoje, um em cada oito inquilinos em uma grande cidade americana sofre despejos a cada dois anos na média. O que nos leva a perguntar: o número de despejos aumentou com o passar das décadas e se tornou algo “normal”? Desmond confessa a dificuldade de encontrar dados de séries históricas sobre despejos nos Estados Unidos, mas dados sobre o valor dos aluguéis – outra maneira de olhar para o mesmo problema – revelam uma evolução preocupante.

O geógrafo Eric Fischer pesquisou o valor dos aluguéis descritos em anúncios de jornais na cidade de São Francisco nos últimos 70 anos e concluiu que o aumento tem sido, em média, de 6.6% ao ano. Isso significa 2.5% acima da inflação. Em 60 anos é como se o preço da habitação quadruplicasse comparado a todas as outras coisas com que os salários devem arcar. São Francisco pensou sim em controlar o valor dos alugueis já em 1979, mas outras variáveis como o número de unidades habitacionais disponíveis, o valor dos salários e o número de empregos fazem parte da equação para de fato evitar o aumento da população de rua.

Existe uma fórmula para a política habitacional nos grandes centros urbanos? Tem dado certo?

O controle do valor dos aluguéis é de fato uma das maneiras de se evitar o aumento do número de moradores temporários de rua e foi implantado em Berlim, por exemplo. É a primeira cidade da Alemanha a adotar uma legislação que proíbe aumentar o valor do aluguel em mais de 10% do valor pago pelo último locatário. Além de ser uma forma de conter um dos valores de aluguel que mais aumenta na Europa e que é marcado por uma grande diferença no valor pago em contratos de aluguel existentes e novos, tenta evitar que Berlim se transforme em uma Paris ou Londres, onde a população com baixos salários não necessariamente vai para a rua, mas deixa de poder viver nas principais zonas da cidade e acaba sendo empurrada para áreas periféricas. O controle dos aluguéis pode evitar novos despejos, mas certamente não soluciona a situação de quem já tem a rua como morada permanente.

Aliás, despejo não é o único motivo que leva famílias ou pessoas a adotar a rua como moradia. Essa população tem diferentes perfis e origens. Já em 1992, o psicólogo Sam Tsemberis mostrou uma diferença taxonômica, identificando dois tipos de moradores de rua: o temporário e o permanente. Considerou que o primeiro pode ser mais facilmente ajudado pelo Estado: pode ser vítima de despejo, de desemprego e há programas sociais que podem prover assistência. O segundo é, no mais das vezes, vítima de uma pobreza extrema, associada à dependência química, alto consumo de álcool e transtornos mentais. De forma semelhante, Eneida Bezerra et al. trazem as diferenças entre “Ficar na rua”, “Estar na rua” e “Ser da rua”, sendo as duas primeiras formas no âmbito temporário e a última no permanente.

Uma política pública de sucesso fez cair 23% o número dos moradores de rua permanentes desde meados de 2015 e em 60% desde 2013 em três condados da Flórida, Estados Unidos. A prática implica em uma inversão de um antigo conceito. Em vez de primeiro dar tratamento aos moradores permanentes de rua (em especial as vítimas de traumas, com uso abusivo de substâncias psicoativas ou transtornos mentais) e depois dar-lhes moradia com condicionantes (como permanecerem “limpos” e “sãos”), a região da Flórida Central passou a oferecer moradia permanente sem os tradicionais fatores condicionantes. A estratégia é chamada de “housing first” (moradia primeiro) e tem mostrado que os beneficiários vem conseguindo manter a casa em 63 a 77% dos casos, ao invés dos 24 a 39% que receberam casa com as estratégias condicionantes. Bons resultados também aparecem em Seattle, Denver e Washington, além dos estados de Rhode Island, Illinois e Utah.

Por fim, voltando ao caso de moradores temporários que, além de vítimas de despejo não dispõem de recursos para pagamento de pensão e buscam alternativa às ruas em albergues, a recente mudança no direcionamento do orçamento dado pelo Department of Housing and Urban Development (Federal) têm deixado os gestores de abrigos preocupados.

A ideia é direcionar o orçamento para moradias permanentes, indicando que é uma medida mais produtiva do que os abrigos municipais transitórios. Essa medida pode significar perda de 500 camas distribuídas em aproximadamente 12 abrigos na cidade de Nova Iorque onde vivem 58 mil pessoas —numa cidade que tem por obrigação fornecer abrigo a todos os moradores de rua.

Ao que tudo indica, a transferência para a moradia permanente pode mesmo ser uma melhor alternativa. No entanto, cortar custos dos albergues é uma manobra muito arriscada. O New York Times indica que “moradia permanente pode ser uma solução para famílias desabrigadas, mas moradores de rua sós precisam de mais ajuda no combate a outros fatores —desde transtornos mentais até a recuperação pós-encarceramento— e os serviços dos albergues também prestavam auxílio a esses problemas”.

A medida é recente, foi divulgada em maio de 2016 e ainda não há pesquisas que possam indicar os resultados da mudança no direcionamento do orçamento dos albergues. No entanto, o grande risco é que se torne em uma nova forma de despejo, o despejo dos abrigos.

Fontes