Publicado em

Contrato de Impacto Social (CIS)

Recentemente o Governo do Estado de São Paulo lançou uma Consulta Pública referente a um Contrato de Impacto Social (CIS) na área da educação. Em dezembro deste ano, após o término dessa consulta, o governo vai lançar um Edital de Licitação para estabelecer o Contrato de Impacto Social, cujo objetivo final é identificar políticas públicas que sejam efetivas para melhorar alguns indicadores da área de educação.

Essa nova modalidade de contratação de serviços, ainda inédita no Brasil, permitirá ao governo atrelar a remuneração dos serviços contratados aos resultados produzidos pelas instituições contratadas. O CIS prevê que o contratado tenha por um lado a flexibilidade na execução das atividades e, por outro lado, fique responsável pelo risco de as metas não serem atingidas.

A grande novidade nesse processo é que, conforme noticiado (http://www1.folha.uol.com.br/educacao/2017/11/1937836-sp-pagara-a-entidade-que-cumprir-meta-e-evitar-evasao-no-ensino-medio.shtml), instituições privadas e organizações sem fins lucrativos vão propor intervenções que auxiliem  o Governo do Estado de São Paulo a elevar os índices de aprovação e reduzir a evasão escolar no ensino médio.

A princípio, serão selecionadas 122 escolas da região metropolitana do Estado.  Dessas 122 escolas, metade (61 escolas) vai receber uma intervenção proposta, e as outras 61 escolas vão servir como um parâmetro de comparação. Importante ressaltar que a seleção dessas escolas deverá obedecer a critérios técnicos para garantir que essa comparação seja feita de forma adequada.

Após um período determinado no processo licitatório, será feita uma avaliação de impacto das intervenções propostas, mensurando o tamanho do efeito de cada intervenção. A remuneração das contratadas vai ocorrer apenas nos casos em que forem identificados efeitos positivos desejados em uma dimensão relevante, definida por meio de metas.

Logo após o lançamento dessa consulta pública, muitas críticas foram feitas e algumas questões sobre como será operacionalizado esse processo foram colocadas. Em resumo, essa inovação proposta pelo Governo do Estado recebeu críticas principalmente em dois pontos: primeiro pela metodologia que será empregada na aplicação das intervenções e na consequente avaliação que será produzida; o segundo ponto de discussão é a forma de remuneração das instituições que vão fazer as intervenções.

As críticas mais comuns acerca da metodologia questionaram o fato de deixar alunos de 61 escolas sem receber o tratamento ofertado aos alunos das outras 61 escolas. Na visão de alguns, isso criaria mais uma disparidade no sistema de ensino e seria injusta com os alunos das escolas que não forem sorteadas para receber a intervenção.

Quanto a esse ponto, podemos afirmar com alto grau de certeza que a metodologia de avaliação de impacto proposta é exatamente a mesma que é aplicada no mundo todo para calcular o impacto de intervenções nas mais diversas áreas, sejam na saúde, educação, habitação, etc

Ao contrário do que se disse e tendo em vista que os recursos financeiros são escassos, essa estratégia de avaliação não é injusta porque a ideia é fazer a intervenção como um projeto piloto e, caso ela demonstre ser efetiva, a política pode ser ampliada para toda a rede.

Para ilustrar esse argumento, imagine que você queira expandir o exemplo da Escola da Ponte (https://pt.wikipedia.org/wiki/Escola_da_Ponte), mas para isso o governo peça que você demonstre que os efeitos positivos deste tipo de escola podem ser obtidos na rede de ensino como um todo, e não apenas em uma unidade muito específica. Como você faz?
Primeiro você busca recursos humanos e financeiros para implementar esse projeto. Mas como recursos não são infinitos você sabe que tem que obter o suficiente para implementar o projeto em pelo menos 30 escolas (esse número mínimo pode variar de acordo com o objeto de estudo).

Em seguida você identifica as 30 escolas da rede, considerando que nesse grupo deve haver alguma heterogeneidade, e que as escolhidas possuem as condições necessárias para que o modelo Escola da Ponte funcione. Essas escolas serão o piloto da política pública que você quer implementar, isso é chamado de Grupo de Tratamento.

O próximo passo é identificar na rede outras 30 escolas que tenham características semelhantes às escolas do Grupo de Tratamento, isso é feito para que você possa ter uma base de comparação. Essas escolas serão chamadas de Grupo de Controle e não receberão a intervenção que você está propondo.

Ora, mas se eu acredito que o modelo da Escola da Ponte é uma boa política, por que não fazer isso nas 60 escolas?

Primeiro porque mesmo que você tenha alguma informação sobre casos de sucesso de algumas escolas que seguiram o modelo da Escola da Ponte, ainda não há como saber se esse modelo funciona apenas em condições muito específicas, ou se ele pode mesmo ser aplicado em toda uma rede de ensino. Então você faz um piloto em um número maior de escolas, com características heterogêneas, para saber se esse projeto pode ser aplicado na rede de ensino.

Se os resultados forem positivos, você terá segurança de que os recursos necessários para expandir essa política para todas as escolas da rede vão trazer o retorno esperado. Porém, se na pesquisa você identificar que os resultados positivos são obtidos apenas em casos específicos, ao fazer o piloto você evitou que recursos fossem empregados em larga escala, sem provocar os efeitos esperados na rede como um todo. Ou seja, você evitou desperdício de recursos públicos.

Segundo porque o modelo da Escola da Ponte é apenas um exemplo dentre várias experiências em educação que foram aplicadas em estudos de caso. Imagine se o governo fosse adotar todos os modelos que são sugeridos. Seria possível fazer isso na rede toda de uma só vez? A resposta é não.

Mas, seguindo esse modelo, os alunos das escolas do grupo de Controle não serão prejudicados?

Não, os alunos das escolas que compõem o grupo de controle não perdem nada do que já recebem, mas apenas não ganham o benefício extra que é oferecido às escolas do grupo de tratamento. Esse grupo serve para mensurar o que teria acontecido com os alunos das escolas de tratamento, caso não houvesse o tratamento. Isso é chamado de contra-factual.
Para fazer a mensuração dos efeitos do modelo Escola da Ponte, os pesquisadores vão coletar dados nas 60 escolas, em três momentos distintos: antes das intervenções começarem; ao longo da execução do projeto; e ao final de um período no qual se espera que a intervenção tenha provocado os efeitos esperados.

Por meio da comparação da evolução dos dois grupos será possível identificar qual o efeito real do tratamento para então saber se é possível e se vale a pena expandir o modelo da Escola da Ponte para toda a rede de ensino.

Se os resultados forem positivos, você terá elementos para convencer o governo a adotar a mesma política em toda a rede de ensino, e assim beneficiar todos os alunos da rede.
O segundo ponto que também foi muito questionado refere-se à remuneração das instituições, que será feita apenas para as que obtiverem resultados positivos.
Esse ponto merece bastante atenção porque pode afetar a implementação das intervenções, uma vez que a pressão sobre as escolas do grupo de tratamento será maior do que já ocorre naturalmente nesse tipo de estudo. Segundo porque, se não houver um controle muito rígido, pode haver influência no cálculo do impacto.

Uma solução para isso seria criar uma comissão de pesquisadores da área para selecionar apenas instituições que estejam propondo intervenções que a comissão entende que vão dar o resultado esperado, e pagar pela intervenção em si. O risco para o governo estaria limitado ao valor empregado nessas intervenções. Se os resultados não forem os esperados será necessário verificar se houve problema na implementação, ou se a intervenção não é efetiva como se esperava. Porém, se o efeito for positivo, o governo poderá expandir a política para a rede de ensino, sem maiores riscos de má gestão dos recursos públicos.

Publicado em

Tia, entendeu ou quer que eu desenhe?

Para aqueles que acompanham o trabalho da Plan não deve ser novidade o fato de que nós avaliamos projetos que tratam de vários temas e envolvem públicos bastante diversificados. A lista de perfis profissionais que participaram dos nossos trabalhos de campo já incluiu: empresários, trabalhadores de chão de fábrica, pequenos agricultores, proprietários de grandes fazendas, coordenadores de projetos sociais, beneficiários desses projetos e por aí vai.

Além da diversidade de posições ocupacionais e estratos de renda, as idades também são muito variadas e incluem até crianças. Já trabalhamos com projetos cujos beneficiários estão cursando o Ensino Infantil (até 6 anos de idade) e crianças que estão atravessando esse processo tão crítico que é a alfabetização (1º ano do Ensino Fundamental).

Quando as crianças são justamente o centro de um projeto, como podemos envolvê-las no trabalho de campo? Como entrevistar essas pessoas que estão desenvolvendo as diversas formas de se expressar?

Orientados por nossa consultora e educadora Gisela Wajskop, que se inspirou em estudos da Sociologia da Infância (Pinto & Sarmento, 1997, 1999; Corsaro, 2011), realizamos conversas em grupo (“grupos focais”) com crianças utilizando técnicas de observação seguidas de atividades de desenho. As crianças utilizam formas específicas de representação e simbolização do mundo que ultrapassam os limites da linguagem codificada em fala e texto. Se quisermos entender o que pensam e lhes darmos voz, o discurso adulto de perguntas e respostas estruturadas pode não ser o meio mais eficaz. As conversas com crianças requerem uma abordagem própria, ajustada a sua visão de mundo curiosa, especulativa, aberta, imagética, daí a opção pela utilização do recurso visual.

Os desenhos são meios riquíssimos de comunicação que podem incluir não somente objetos, mas também movimentos, sons e sentimentos. Ao tentar representar pessoas ou lugares, por exemplo, as crianças desenham o que elas sabem, ou seja, elas mostram uma versão do que elas veem. Ainda que enfrentem dificuldades para incluir em seus desenhos técnicas mais regradas, como a perspectiva, elas inventam soluções para representar objetos com três dimensões (Anning, 1997). Essas soluções não são imediatamente perceptíveis para o adulto treinado na convenção mas fazem pleno sentido quando descritas pelas próprias crianças. Em um mundo dominado pela linguagem padronizada e normatizada, as crianças entram em um território muito mais livre ao trabalhar com materiais de linguagem expressiva, como papel, lápis, giz de cera ou até massinha de modelar.

O desenho acima mostra o entendimento de um aluno de 7 anos sobre um aplicativo de apoio ao letramento utilizado por sua turma. A primeira versão desse aplicativo contava a história do Motogato, um entregador de pizzas que era ajudado por seu chefe, o Sr. Cachorrão, para escrever o endereço dos seus clientes. A criança destaca a expressão angustiada do Motogato tentando navegar pelo universo urbano congestionado chegando corretamente ao seu destino com as informações que lhe são passadas —lugar semelhante ao do próprio aluno face ao desafio de dominar o código da escrita no processo de alfabetização.

Já a ilustração abaixo, criada por uma aluna de 5 anos, reconta simbolicamente a história narrada no livro “Menina Bonita do Laço de Fita”, de Ana Maria Machado. No desenho, a aluna fundiu na mesma representação as características da protagonista do livro e também do coelho, a outra personagem, que não só se apaixona por ela mas quer poder ser como ela.

Elaborado durante a mesma atividade de leitura do livro “Menina Bonita do Laço de Fita”, o desenho abaixo chama a atenção para o direcionamento da atenção da criança. Embora não tenha reproduzido elementos que surgiram na história do livro, o aluno mostrou curiosidade e capacidade de observação ao desenhar elementos do ambiente escolar onde estávamos, incluindo até o meu tripé, que usei para apoiar a câmera filmadora e registrar toda a entrevista. Por mais interessante que pudesse lhe parecer o livro, a presença de um pesquisador estranho e seus instrumentos sofisticados de trabalho, totalmente fora de contexto na rotina de uma escola no interior do Ceará, decerto lhe chamou mais a atenção do que a história de um coelho que se apaixonava por uma menina. Não se pode tirar a razão desse menino de querer destacar essa descoberta em seu desenho.

Os desenhos, portanto, ao fazer despertar representações usando formas e cores podem revelar experiências das crianças com os livros e materiais didáticos, por exemplo, ou até mesmo suas opiniões e sentimentos em relação ao ambiente escolar ou familiar. Ademais, a simples observação das crianças ao criarem seus desenhos pode revelar muitas questões ligadas ao seu desenvolvimento. A intimidade com o lápis e giz de cera pode ser índice de habilidades motoras enquanto que o compartilhamento do material e interações entre as crianças durante a atividade também expõem habilidades sociais e emocionais.

Fontes citadas:

ANNING, Angela. Drawing Out Ideas: Graphicacy and Young Children. International Journal of Technology and Design Education 7. p. 219 – 239, 1997.

CORSARO, W. Sociologia da Infância. Porto Alegre: Artmed, 2011

PINTO, M. & SARMENTO, M. J. (Org.). As crianças e a infância: definindo conceitos, delimitando campos. In: As crianças: contexto e identidades. Braga, Portugal: Centro de Estudos da Criança, 1997.

WAJSKOP, Gisela. Linguagem Oral e Brincadeira Letrada nas Creches. Educ. Real., Porto Alegre, 2017.

Publicado em

Avaliar melhor para reduzir a pobreza

Em seu livro Poor Economics, Esther Duflo e Abhijit V. Banerjee se inserem em uma discussão acalorada sobre como acabar com a pobreza no mundo. O debate entre Jeffrey Sachs, da Universidade de Colúmbia (End of Poverty, 2005), e William Easterly, da Universidade de Nova Iorque (The White Man’s Burden, 2006) transcorre há mais de 10 anos em torno da eficácia da ajuda internacional. Sachs, que além de professor é enviado especial das Nações Unidas na África, defende que a assistência deve ser prestada em grande escala e que isso não só vai elevar o nível de desenvolvimento de países pobres, como é uma obrigação dos países desenvolvidos promovê-la. Já Easterly, ex-gerente do Banco Mundial, discorda, afirmando que o uso indiscriminado dos recursos da cooperação internacional leva a corrupção e péssimos incentivos para os países que recebem o dinheiro, mantendo-os com níveis baixos de desenvolvimento humano.

Já o livro Poor Economics, Esther Duflo e Abhijit V. Banerjee, não trata a questão do assistencialismo por si só como um problema ou uma solução para o subdesenvolvimento. O argumento principal da obra é que precisamos estimar bem o impacto dos projetos por meio de experimentos, para sabermos exatamente quais ações reduzem a pobreza e em que medida. A ajuda internacional seria mais eficaz quanto mais se conheça as causas da pobreza no contexto do país receptor, possibilitando assim a aplicação de uma estratégia que comprovadamente funcione para atacá-las. Na Plan corroboramos essa visão, acreditando ser necessário alocar os recursos de forma ótima na cooperação internacional, aprendendo com avaliações anteriores, bem como tratar a pobreza como um fenômeno dinâmico, sensível a contexto e multidimensional.

Nesse espírito, terminamos recentemente um estudo de desenho semi-experimental medindo o retorno para a sociedade da rede de Centros Urbanos de Cultura, Arte, Ciência e Esporte (CUCAs) de Fortaleza. Esses centros são equipamentos públicos onde pessoas de 15 a 29 anos podem praticar esportes, ter acesso à cultura, como teatro e dança, e atendimento psicossocial com auxílio de pessoal especializado no desenvolvimento pessoal do jovem para melhor formá-lo para o mundo.

Procurando estimar como a participação nos CUCAS afeta o futuro dos jovens, realizamos encontros, debates e entrevistas para entender melhor os processos de transformação pelos quais esses jovens passam ali. Em seguida aplicamos questionários padronizados com amostras aleatórias representativas de pessoas participantes e não-participantes do programa. Como não havia linha de base para comparação, tivemos de fazer aproximações para poder estimar o que havia mudado na vida desses jovens em termos de competências socioemocionais, além de qualificação profissional, autoestima, perspectiva de futuro, mudanças de comportamento e valores, entre outros resultados que se esperava que o programa obtivesse. Desenvolvemos técnicas de perguntas para que as pessoas reconstruíssem como estavam há 3 anos, antes de a Rede CUCA ser implantada, e se comparassem com o momento atual.

Com os dados em mãos, utilizamos a técnica de diferenças das diferenças, que compara as evoluções dos grupos controle e tratamento em dois momentos do tempo. Quando observamos as duas diferenças, a primeira entre o grupo tratamento antes e depois do CUCA, e a segunda entre o grupo tratamento e controle nos mesmos momentos, podemos estimar o impacto do programa considerando que ambos foram expostos a uma gama semelhantes de fatores externos. Ao final, demonstramos, por exemplo, que as probabilidades de os participantes do programa terminarem o ensino médio e tentarem ingressar no ensino superior são significativamente maiores que a de outros jovens.

Para estudar o impacto financeiro do CUCA sobre os rendimentos de seus participantes, utilizamos os resultados das regressões e os multiplicamos pelos valores apurados pelo IBGE para as faixas de renda associadas a cada nível de escolaridade. Como os resultados das regressões indicaram que os frequentadores do CUCA tendem a ter escolaridade mais alta do que a do grupo de controle, é de se esperar que os rendimentos daqueles seja consequentemente maior. A soma desses recebimentos futuros representará um retorno de valor para a sociedade de aproximadamente 3 vezes o montante investido na Rede CUCA.

Com esse estudo pudemos contribuir mostrando que a Rede CUCA pode trazer não só diversão, esporte e cultura para jovens de Fortaleza, mas também trabalho e renda, reduzindo a pobreza. Com o possível ganho de longo prazo medido para os recebimentos do trabalho em um número significativo de casos (foram 263.409 participantes de atividades do CUCA nos últimos 3 anos), a região pode desenvolver novos empregos, movimentar mais bens e estimular a própria economia, melhorando a vida não só daqueles que receberam as vantagens do CUCA, mas também de todos em volta.

As avaliações que combinam análises qualitativas com experimentos controlados para estimar a eficácia dos programas sociais voltados aos grupos mais pobres têm peso crescente no portfólio da Plan, com projetos de grande escala em curso no Nordeste rural do Brasil voltados ao desenvolvimento infantil e à geração de renda no campo. Por meio destes, conforme defendem Duflo e Banerjee, contribuímos para escolher as estratégias mais eficazes de redução das pobrezas; por meio daquelas, entendemos como operam e como os pobres as vivenciam, fornecendo elementos para que sejam adaptadas pelos governos a seus contextos locais.

Fontes:

Esther Duflo & Abhijit V. Banerjee, “Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty”; 2011, PublicAffairs

Esther Duflo, TED Talk, “Social Experiments to Fight Poverty”; https://www.ted.com/talks/esther_duflo_social_experiments_to_fight_poverty

Jeffrey Sachs, “The End of Poverty: How We Can Make It Happen In Our Lifetime”; 2005,             Penguin Press

William Easterly, “The White Man’s Burden: Why the West’s Efforts to Aid the Rest Have Done So Much Ill and So Little Good”; 2006, Penguin Books

Publicado em

Impact Bonds: avaliando o financiamento privado de programas sociais

Pela primeira vez em um país em desenvolvimento, na Colômbia, foi lançado um “Social Impact Bond” (SIB). O programa patrocinado pelo título de dívida tem como objetivo ajudar 514 indivíduos classificados abaixo da linha de pobreza ou desalojados devido ao conflito interno que vive o país a encontrar trabalho. O foco são pessoas formadas no ensino médio, com 18 a 40 anos, que, na data de início do programa, não possuíam emprego. Financiado em 50% pelo governo do país e 50% pelo governo da Suíça, por meio de agências internacionais de apoio em parceria com o Banco Interamericano de Desenvolvimento (BID), a trajetória do SIB vem sendo acompanhada de perto pela Instiglio, organização sem fins lucrativos, dedicada ao desenvolvimento de Impact Bonds em todo o mundo. A consultoria Deloitte será a responsável pelas avaliações independentes necessárias neste processo.

O Impact Bond é um sistema de financiamento de políticas de interesse da sociedade. Além do SIB, há também o Development Impact Bond (DIB), que já é utilizado em outros dois países em desenvolvimento, Peru e Índia. Tanto SIB como DIB possuem a mesma inspiração financeira. Um operador privado aporta o capital inicial e assume o risco do investimento. Caso tenha sucesso na avaliação de impacto feita por um organismo independente, o governo ou garantidor privado cobre seu investimento e uma margem de lucro pré-definida. A maior diferença entre SIB e DIB é o financiador final; no primeiro, este é o governo, enquanto no DIB o financiador é uma instituição garantidora privada.

Para os avaliadores profissionais, a parte que chama mais atenção é o fato de o sistema depender de medições externas, independentes dos dois agentes principais do contrato, para certificar a eficiência e os incentivos corretos na prestação dos serviços propostos pelos Impact Bonds. No caso do DIB peruano, a intervenção é um suporte para o cultivo de cacau pela população indígena em áreas da Amazônia. O objetivo é aumentar a produção e o retorno financeiro da população da região com a commodity. A medição é feita com uma linha de base, definida no início do tratamento, e com indicadores medidos durante e após a intervenção. No entanto, as medições nesse caso não possuem grupos de controle, o que pode gerar distorções na análise dos dados.

Brookings

Já na Índia, o primeiro caso de um DIB para educação ocorreu no Rajastão. O projeto é direcionado para educação de meninas, um problema fundamental no país asiático e outros lugares do mundo, onde muitas vezes mulheres são impedidas pelas próprias famílias de ter qualquer tipo de educação. O projeto consiste em dar suporte à ONG Educated Girls, que tem como objetivo aumentar a assiduidade na escola, as notas e diminuir a taxa de evasão de meninas e meninos. O projeto inclui equipe que vai de casa em casa conversar com pais e mães para convencê-los a matricularem seus filhos e, principalmente, filhas nas escolas.

O sistema de medição de impacto do projeto de educação na Índia tem formato diferente do peruano. Além da linha de base, a empresa de consultoria IDinsight, contratada para fazer a avaliação de impacto externa, utilizou a base de escolas da ONG Educate Girls para formar um grupo controle que não receberia o tratamento, sendo mantido para comparação. Como as escolas da base de dados foram escolhidas de forma aleatória para o grupo controle e tratamento, podemos dizer que a avaliação tem formato experimental, e que, portanto, se presta a determinar se o tratamento efetivamente causou o impacto observado.

Fonte: Instiglio

No caso peruano, como estamos falando de uma avaliação com comparação entre linha de base e resultado final, sem grupo controle, fatores não observáveis podem gerar problemas de inferência de causalidade. Um exemplo é o desempenho do mercado de cacau no mundo. Caso o impacto externo no mercado de cacau seja positivo, os indicadores serão impactados positivamente e não necessariamente esse impacto estará relacionado com o programa. A falta de grupo de controle será um problema em casos como esse, podendo premiar (ou não) o controlador do programa devido a fatores que ele não controla, reduzindo a validade da avaliação e possivelmente causando futura desconfiança em novos acordos na região.

Já o formato da avaliação de impacto utilizada no DIB indiano não só utiliza grupo controle, como escolhe grupos controle e tratamento por sorteio aleatório. Primeiro, a utilização de um grupo controle permite que impactos provenientes de outras fontes que não o programa possam ser retirados dos impactos que observamos nos indicadores, deixando apenas aqueles relacionados ao tratamento. Nesse caso, por exemplo, uma melhora estrutural no sistema educacional da Índia seria identificada por tratamento e controle e não entraria na contabilidade do indicador final, que compara um com o outro. Segundo, as amostras serem aleatórias para grupos tratamento e controle traz mais eficiência ao avaliar os reais impactos do programa, mostrando impactos causais entre indicadores e tratamento.

Em suma, apesar de entender que nem sempre temos a possibilidade de fazer um sistema de avaliação de impacto com grupos tratamento e controle criados aleatoriamente, é importante sempre ter em mente possíveis formas de retirar da avaliação causas externas à intervenção que não deveriam ser contabilizadas.

Programas como os Impact Bonds são muito bem vindos para a melhoria do funcionamento e da prestação de serviços de interesse público e social no mundo, principalmente para países em desenvolvimento. O mais interessante desse sistema é ele buscar a eficiência por desenho, exatamente porque utiliza sistemas de medição para certificar que o serviço seja prestado e atestar a qualidade oferecida. Isso tudo tirando o ônus do risco das mãos do setor público e instituições financiadoras, além de jogar incentivos diretamente para o setor privado, que, de modo geral, lida bem com estas variáveis. Na Plan vemos com muito bons olhos iniciativas que valorizam a medição para garantir o maior impacto possível de uma intervenção, seja por parte do setor público ou privado.

Fontes:

  • Autonomous and sustainable cocoa and coffee production by indigenous Asháninka people of Peru. Field mission for the verification of impact indicators of the Development Impact Bond agreement CFC/2013/03/139FT: http://common-fund.org/fileadmin/user_upload/Verification_Report.pdf
  • Brookings Institute, https://www.brookings.edu/blog/education-plus-development/2016/07/18/educate-girls-development-impact-bond-could-be-win-win-for-investors-and-students/
  • Brookings Institute, https://www.brookings.edu/blog/education-plus-development/2017/03/31/colombia-leads-the-developing-world-in-signing-the-first-social-impact-bond-contracts/
  • Instiglio, http://instiglio.org/educategirlsdib/wp-content/uploads/2015/09/Educate-Girls-DIB-Sept-2015.pdf
  • Instiglio, http://www.instiglio.org/en/impact-bonds/
  • Instiglio, http://www.instiglio.org/en/sibs-worldwide/
  • William R. Shadish, Thomas D. Cook, & Donald T. Campbell; “Experimental and Quasi-Experimental Designs for Generalized Causal Inference”; Houghton Mifflin Company. 2002.
Publicado em

Transparência na gestão pública: monitoramento de políticas por meio de dados abertos

Uma das maneiras mais simples de se monitorar políticas públicas é recorrendo a dados da gestão pública que as instituições de governo disponibilizam online.

No mundo todo, é crescente a demanda pela transparência na divulgação desses dados. No Brasil, os órgãos e entidades públicas são obrigados a disponibilizar informações desde que a Lei de Acesso à Informação (Lei nº 12.527/2011) entrou em vigor em maio de 2012. Atualmente, o país ocupa o 18º lugar no Global Right to Information Rating, que ranqueia as legislações mais rigorosas, apesar de ter sido o 89º país a adotar uma lei de acesso à informação pública. A LAI já tem quatro anos e ainda há muitas falhas no atendimento aos pedidos de acesso à informação.

Na busca por governos mais transparentes, diversas iniciativas e portais foram criados tanto para facilitar o acesso e compreensão de dados disponibilizados, monitorando o desempenho ou gastos das gestões públicas, como para monitorar e cobrar a transparência dos governos nas instâncias municipal, estadual e federal.

Esses portais também auxiliam nas pesquisas de monitoramento quando é necessário recorrer a dados secundários. Tivemos oportunidade de conhecer algumas iniciativas ao longo dos nossos trabalhos e vamos partilhar algumas aqui no Blog.

Em trabalho com a Fundação Lemann, utilizamos o portal QEdu que monitora dados sobre a educação no Brasil. É possível comparar dados do Enem, Ideb, Censo Escolar e Prova Brasil por municípios e por todas as unidades escolares públicas e privadas, municipais e estaduais. O portal também possibilita desmembrar alguns indicadores, como o Ideb, formado pela nota da Prova Brasil no aprendizado (conhecimento de conteúdos) e no fluxo (taxa de aprovação).

Para o Instituto Ethos, trabalhamos com o Cidade Transparente. Trata-se de uma iniciativa que mensura a transparência municipal através dos Indicadores da Cidade Transparente, “obtido por meio da análise de informações e dados da administração pública” que é “adaptado da metodologia de avaliação da transparência das cidades-sede da Copa do Mundo desenvolvida no âmbito do projeto Jogos Limpos”, avaliado pela Plan. A iniciativa busca estimular a participação social e contribuir para melhoria da transparência dos municípios brasileiros.

Ainda monitorando o avanço da transparência no país, o Transparência Brasil acompanha informações sobre a vida e as decisões políticas no país. Três projetos principais são desenvolvidos pela organização: “Excelências”, com informações sobre o histórico dos congressistas, incluindo processos na justiça, multas, declarações de bens, etc; “Meritíssimo”, um acompanhamento das decisões dos ministros do STF; “Às Claras”, um banco de dados com informações sobre financiamento de campanhas eleitorais municipais, estaduais e nacionais desde 2002. O portal deve lançar em breve o “Cadê minha escola?” para monitorar de maneira participativa a construção de escolas e creches públicas.

No âmbito do monitoramento de arrecadação e gastos dos municípios, a Fundação Brava desenvolveu o portal Meu Município, que usa dados do Ministério da Fazenda (Secretaria do Tesouro Nacional) e do IBGE. A metodologia utilizada pode ser consultada aqui.

Conheça mais sobre as iniciativas pela transparência no Brasil:

Retps: Rede pela Transparência e Participação Social
GPoPAI – USP: Grupo de Pesquisas em Políticas Públicas para o Acesso à Informação
Eaesp – FGV
Artigo 19

Publicado em

Nada freia uma bala como um emprego

Há anos que o debate sobre a redução da maioridade penal no Brasil vem provocando fortes emoções e polarizando o cenário político do país. No entanto, a pergunta que poucos têm feito é se, no meio dessa polêmica intrinsicamente ligada a questões de racismo e de classe social, há espaço para o desenho de intervenções focadas na prevenção e não apenas na correção de um problema estrutural da sociedade brasileira. Segundo um estudo da Universidade da Pensilvânia, existem programas que têm-se mostrado eficazes na redução da criminalidade juvenil nos Estados Unidos, utilizando estratégias de inclusão social e desenvolvimento pessoal em contextos urbanos de instabilidade e violência.[1]

Em 2012, a pesquisadora Sara Heller realizou um estudo controlado com atribuição aleatória para avaliar o impacto do programa One Summer Plus (OSP), que ofereceu empregos de salário mínimo a alunos dos bairros mais pobres e escolas mais violentas da cidade de Chicago durante as férias de 2012. De acordo com fontes oficiais, os jovens estadunidenses são duas vezes mais propensos a serem vítimas e autores de violência do que os adultos, e as taxas de detenção por crimes violentos são cinco vezes maiores para jovens afro-americanos do que para jovens brancos.[2] Mais do que 1.500 alunos entre 14 e 18 anos de idade se candidataram ao programa, o qual ofereceu vagas de emprego em ONGs e órgãos públicos sob a supervisão de mentores que acompanhariam o seu desenvolvimento profissional. Heller dividiu os candidatos aleatoriamente entre um grupo de controle que não se beneficiou da iniciativa e dois grupos experimentais, um que teve 25 horas semanais de trabalho e outro que teve 15 horas de trabalho, além de 10 horas de participação em um curso focado em habilidades sócio-emocionais.

Ao longo dos 3 meses do programa e durante 13 meses depois de sua conclusão, Heller monitorou as detenções da polícia de Chicago por crimes violentos, crimes contra a propriedade, drogas e outros. Embora não fosse observada nenhuma mudança na frequência dos três últimos, as detenções por crimes violentos caíram em 43% entre os alunos dos grupos experimentais, com relação ao grupo de controle. Porém, como apenas a metade dos incidentes de violência chega a ser reportada à polícia, é provável que este resultado subestime o número de crimes violentos evitados pelo programa.[3]

Fonte: Heller, Sara B. “Summer Jobs Reduce Violence among Disadvantaged Youth.” Science 346.6214 (2014): 1219–1223.

A falta de uma diferença estatisticamente significativa entre os dois grupos experimentais sugere que a oportunidade de trabalhar por si só tenha “ensinado os jovens a processar informação social, lidar com pensamentos e emoções e estabelecer e alcançar metas de forma mais eficaz.” Além disso, vale destacar que a maior queda nas taxas de detenção ocorreu entre 5 e 11 meses depois do início do programa, o que revela os efeitos positivos e de longo prazo das mudanças de comportamento e perspectiva por ele trazidos.

Heller também reconheceu a contribuição dos mentores para a formação profissional dos alunos. Com o declínio da economia industrial nos centros urbanos americanos, na segunda metade do século XX, o exemplo do trabalhador-operário perdeu status frente ao surgimento do tráfico de drogas e de gangues.[4] Portanto, de acordo com Heller, a presença de adultos no programa pode ter restabelecido essa rede tradicional de apoio e ensino, abrindo novas possibilidades e escolhas de vida para jovens em situações vulneráveis.

Em termos da viabilidade financeira de uma intervenção como o OSP, a relação custo-benefício é uma consideração essencial. No caso do OSP, a curta duração fez com que o valor das despesas administrativas (US$1.600, não incluindo os salários dos participantes) fosse inferior ao benefício trazido pela redução da delinquência juvenil (US$1.700). Sem dúvida, antes de implementar um programa de emprego para jovens é preciso considerar se um investimento tão grande é adequado para o contexto local, pois a experiência de outros programas demonstra que o saldo positivo do OSP é mais a exceção do que a regra. Mesmo assim, Heller argumenta que qualquer discussão de custo-benefício deve levar em conta os custos de encarceramento quando uma sociedade opta pela punição ao invés de medidas preventivas.

Apesar dos resultados promissores do programa, ainda falta compreender quais fatores têm maior impacto sobre as taxas de violência juvenil. Também resta determinar sua relevância em diferentes contextos. Por exemplo, abandono escolar no Brasil constituiria um desafio para a adesão a programas como o OSP. Somente 58% dos jovens brasileiros terminam o ensino médio e “enquanto 85% dos alunos mais ricos no Brasil concluem o ensino médio, menos de 30% [dos que têm] menos recursos conseguem o mesmo.”[5] Este fenômeno de abandono escolar diferencia o caso brasileiro daquele dos EUA, mas o impacto observado do OSP em Chicago ainda pode inspirar uma visão alternativa de futuro para jovens vulneráveis no Brasil. É notável que já existam políticas de emprego juvenil como Menor/Jovem Aprendiz, mas seria interessante investigar se jovens de diferentes camadas socioeconômicas têm acesso equitativo a essas vagas. Além disso, vale destacar que a realização do Programa OSP durante as férias minimiza interrupções e limitações na trajetória acadêmica dos jovens que poderiam ocorrer caso fosse realizado durante o ano escolar.

No final das contas, a pesquisa de Heller demonstra que, concomitantemente a reformas educacionais para aumentar a assiduidade e o engajamento de alunos do ensino médio, políticas de emprego juvenil têm o potencial promover a participação cidadã e o desenvolvimento profissional e pessoal de jovens vulneráveis, contribuindo para a redução a frequência de crimes violentos que atualmente divide o Brasil.

[1] Heller, Sara B. “Summer Jobs Reduce Violence among Disadvantaged Youth.” Science 346.6214 (2014): 1219–1223.

[2] Office of Juvenile Justice and Delinquency Prevention, OJJDP Statistical Briefing Book, U.S. Department of Justice, Washington DC, 2014.

[3] Langton, Lynn et al. “Victimizations Not Reported to the Police, 2006–2010.” U.S. Department of Justice, Washington DC, 2012.

[4] Duneier, Mitchell. Sidewalk. New York: Farrar, Straus and Giroux, 2001.

[5] Cabrol, Marcelo, Gádor Manzano, and Lauren Conn. “Vamos Lá, Brasil! Por Uma Nação de Jovens Formados.” Banco Interamericano de Desenvolvimento. 2014.

Publicado em

Is it all about money?!

Em março desse ano, o jornal The New York Times abriu espaço para que diferentes especialistas discutissem uma questão de extrema relevância: “A melhoria da educação estaria relacionada exclusivamente ao investimento financeiro?” (Is Improving Schools All About Money?).  Essa é uma discussão chave quando se pensa sobre educação, inclusive levando em conta o contexto nacional, onde temos um sistema educacional público ainda bastante deficitário. Não podemos esquecer que em 2015 tivemos uma das greves de professores da rede pública mais longas da história, e cujos resultados não parecem terem sido favoráveis nem aos professores, nem ao sistema educacional e nem aos alunos, que são sempre as maiores vítimas.

Como esse painel de especialistas ocorreu nos Estados Unidos, devemos levar em conta as diferenças de contextos social, político, cultural e econômico, e que as demandas e necessidades são diferentes da realidade brasileira. Para começar, o sistema educacional público americano já está muito mais avançado do que o brasileiro, inclusive em termos de qualidade da educação e mesmo do público que atende as escolas públicas: é comum crianças e jovens de classe média frequentarem o ensino público. Nesse breve texto pretendo abordar alguns dos principais argumentos apresentados pelos painelistas.

Linda Darling-Hammond — diretora do Stanford Center for Opportunity Policy in Education – defende que toda a sociedade se beneficia quando há um maior investimento em educação. A educação pública não é igualitária, há escolas que recebem maiores investimentos do que outras, o que colabora com a preservação das desigualdades, já que muitas vezes as escolas que recebem menos investimento são aquelas frequentadas por pessoas com menos recursos, imigrantes e localizadas em bairros periféricos. Seria essa uma realidade muito diferente da brasileira? Aparentemente não. Nesse sentido, ela defende que não é apenas uma questão de redistribuição de investimentos, mas também de aumentar os investimentos financeiros nessas escolas em que há maior defasagem.

Por outro lado, Erick Hanushek — economista e membro do Hoover Institution of Stanford University – traz uma visão bastante distinta. Para ele, maiores investimentos não trazem necessariamente os avanços necessários. Por exemplo, o investimento feito por aluno mais do que dobrou nos Estados Unidos nos últimos 40 anos, porém, isso não se refletiu em melhorias no desempenho dos alunos em disciplinas como matemática e inglês. Nesse sentido, para Hanushek, antes de pensar um aumento nos investimentos, é necessário refletir sobre como investir os recursos já disponibilizados.

Yvone Mason – professora de escola pública — tem uma opinião que se aproxima da apresentada por Linda Darling-Hammond. Para ela, um ponto crucial para melhorar o sistema educacional é diminuir o número de alunos por sala e contratar mais professores, reformas essas que exigem um aumento de investimentos no setor. Ao diminuir o número de alunos por sala e contratar mais professores, a qualidade de ensino aumentaria, uma vez que cada aluno passaria a receber maior cuidado e atenção. Além disso, as relações estabelecidas entre os alunos e entre eles com os professores se tornam mais próximas, o que é favorável para o ambiente de ensino. Nicole Amato – que também já foi professora de escola pública – defende também que maiores investimentos são necessários, não apenas para aumentar os salários dos professores, mas também para oferecer programas de capacitação e melhores materiais pedagógicos e paradidáticos.

Por outro lado, Marguerite Roza — diretora do Edunomics Lab e professora associada da Georgetown University — tem uma percepção semelhante com a de Hanushek, ainda que um pouco mais “ousada”: é necessário criar uma dinâmica de produtividade associada ao sistema educacional. Nesse sentido, defende que os recursos sejam investidos sempre focando a melhoria dos resultados e performance dos alunos e professores. Por exemplo, os professores podem receber bônus dependendo dos resultados alcançados. Além disso, é necessário desenvolver estratégias que maximizem os investimentos no sentido de potencializar os retornos.

Lisa Delpit — professora universitária — tem a mesma opinião de Roza e argumenta trazendo o seguinte exemplo: não é pagando mais em uma academia que você emagrecerá mais, é necessário esforço e empenho para atingir melhores resultados. Nesse sentido, para ela, é necessário rever os investimentos, desenvolver avaliações, métricas e metodologias para definir ondem devem ser feitos os investimentos, de forma a garantir os resultados esperados.

Pensando a realidade brasileira, vemos que as questões levantadas, assim como os argumentos apresentados são semelhantes. O que fica claro é que na temática de educação, assim como em outras questões que envolvem políticas públicas, os argumentos variam muito. Além disso, é interessante refletirmos sobre como a posição ocupada por cada um influi diretamente nas opiniões apresentadas: nesse painel, por exemplo, os professores de escolas públicas eram os que defendiam maiores investimentos, são eles que vivenciam o dia-a-dia das escolas e percebem a necessidade de medidas de curto prazo. Por outro lado, aqueles que estão mais distantes das salas de aula podem ter um olhar mais horizontal, no sentido de pensar decisões cujos efeitos serão percebidos em longo prazo.

Publicado em

Educação Brasileira em Números: Onde Pesquisar?

Os dados secundários estatísticos são amplamente utilizados para embasar hipóteses e teorias acadêmicas, para ilustrar notícias e artigos de opinião nos media ou como argumento em discussões de café. Apesar disso, frequentemente esses dados são referidos fora do contexto em que foram produzidos e, por isso, acabam por dar azo a interpretações deturpadas.

Ao utilizar dados secundários, cuja coleta é responsabilidade de terceiros, é necessário considerar o risco associado à possibilidade de haver displicência no processo de coleta o que, em consequência, coloca em causa a fiabilidade dos dados. Dessa forma, é fundamental utilizar apenas dados produzidos por fontes fidedignas.

Ao longo das próximas semanas publicaremos as fontes de referência para a obtenção de dados estatísticos de vários tópicos sobre o Brasil. Esta semana, a Educação.

Os dados estatísticos sobre a Educação no Brasil estão bastante centralizados e são, na sua grande maioria, da responsabilidade do Instituto Nacional de Pesquisas Educacionais Anísio Teixeira (INEP), que os disponibiliza em diversos formatos: microdados, sinopses e consultas no próprio site. Complementariamente, sugerimos também a consulta dos dados do Fundo Nacional de Desenvolvimento de Educação (FNDE) e do Instituto Brasileiro de Geografia e Estatística (IBGE).

Instituto Nacional Estudos Pesquisas Educacionais Anísio Teixeira (INEP)

Microdados
Censo Educação Superior (1995-2011)
Censo Escolar (1995-2012)
Censo Profissionais do Magistério (2003)
Enade (2004-2011)
Enem (1998-2011)
Pesquisa de Ações Discriminatórias no Âmbito Escolar (2008)
Pnera (2004)
Prova Brasil (2007-2011)
Provão (1997-2003)
Saeb (1995-2011)

Sinopses
Educação Básica
Média de Alunos por Turma (2007-2010)
Média de Horas-Aula diária (2010)
Taxa de distorção idade-série (2006-2010)
Taxa de Rendimento (2007-2011)
Taxa de Não Resposta (2010-2011)
Educação Superior
Número de Cursos, Matrículas e Concluintes (1991-2010)

Consulta no Site
Índice de Desenvolvimento de Educação Básica (2005-2011)

Instituto Brasileiro de Geografia e Estatística (IBGE)

Censo Demográfico
Dados de Alfabetização (2010)

PNAD
Número Médio de Anos de Estudo (2005 a 2006)

Fundo Nac. Desenvolvimento Educação (FNDE)

Investimento na Educação
Valor ano/aluno e Receita Anual Prevista (2007-2011)