Contrato de Impacto Social (CIS)

Recentemente o Governo do Estado de São Paulo lançou uma Consulta Pública referente a um Contrato de Impacto Social (CIS) na área da educação. Em dezembro deste ano, após o término dessa consulta, o governo vai lançar um Edital de Licitação para estabelecer o Contrato de Impacto Social, cujo objetivo final é identificar políticas públicas que sejam efetivas para melhorar alguns indicadores da área de educação.

Essa nova modalidade de contratação de serviços, ainda inédita no Brasil, permitirá ao governo atrelar a remuneração dos serviços contratados aos resultados produzidos pelas instituições contratadas. O CIS prevê que o contratado tenha por um lado a flexibilidade na execução das atividades e, por outro lado, fique responsável pelo risco de as metas não serem atingidas.

A grande novidade nesse processo é que, conforme noticiado (http://www1.folha.uol.com.br/educacao/2017/11/1937836-sp-pagara-a-entidade-que-cumprir-meta-e-evitar-evasao-no-ensino-medio.shtml), instituições privadas e organizações sem fins lucrativos vão propor intervenções que auxiliem  o Governo do Estado de São Paulo a elevar os índices de aprovação e reduzir a evasão escolar no ensino médio.

A princípio, serão selecionadas 122 escolas da região metropolitana do Estado.  Dessas 122 escolas, metade (61 escolas) vai receber uma intervenção proposta, e as outras 61 escolas vão servir como um parâmetro de comparação. Importante ressaltar que a seleção dessas escolas deverá obedecer a critérios técnicos para garantir que essa comparação seja feita de forma adequada.

Após um período determinado no processo licitatório, será feita uma avaliação de impacto das intervenções propostas, mensurando o tamanho do efeito de cada intervenção. A remuneração das contratadas vai ocorrer apenas nos casos em que forem identificados efeitos positivos desejados em uma dimensão relevante, definida por meio de metas.

Logo após o lançamento dessa consulta pública, muitas críticas foram feitas e algumas questões sobre como será operacionalizado esse processo foram colocadas. Em resumo, essa inovação proposta pelo Governo do Estado recebeu críticas principalmente em dois pontos: primeiro pela metodologia que será empregada na aplicação das intervenções e na consequente avaliação que será produzida; o segundo ponto de discussão é a forma de remuneração das instituições que vão fazer as intervenções.

As críticas mais comuns acerca da metodologia questionaram o fato de deixar alunos de 61 escolas sem receber o tratamento ofertado aos alunos das outras 61 escolas. Na visão de alguns, isso criaria mais uma disparidade no sistema de ensino e seria injusta com os alunos das escolas que não forem sorteadas para receber a intervenção.

Quanto a esse ponto, podemos afirmar com alto grau de certeza que a metodologia de avaliação de impacto proposta é exatamente a mesma que é aplicada no mundo todo para calcular o impacto de intervenções nas mais diversas áreas, sejam na saúde, educação, habitação, etc

Ao contrário do que se disse e tendo em vista que os recursos financeiros são escassos, essa estratégia de avaliação não é injusta porque a ideia é fazer a intervenção como um projeto piloto e, caso ela demonstre ser efetiva, a política pode ser ampliada para toda a rede.

Para ilustrar esse argumento, imagine que você queira expandir o exemplo da Escola da Ponte (https://pt.wikipedia.org/wiki/Escola_da_Ponte), mas para isso o governo peça que você demonstre que os efeitos positivos deste tipo de escola podem ser obtidos na rede de ensino como um todo, e não apenas em uma unidade muito específica. Como você faz?
Primeiro você busca recursos humanos e financeiros para implementar esse projeto. Mas como recursos não são infinitos você sabe que tem que obter o suficiente para implementar o projeto em pelo menos 30 escolas (esse número mínimo pode variar de acordo com o objeto de estudo).

Em seguida você identifica as 30 escolas da rede, considerando que nesse grupo deve haver alguma heterogeneidade, e que as escolhidas possuem as condições necessárias para que o modelo Escola da Ponte funcione. Essas escolas serão o piloto da política pública que você quer implementar, isso é chamado de Grupo de Tratamento.

O próximo passo é identificar na rede outras 30 escolas que tenham características semelhantes às escolas do Grupo de Tratamento, isso é feito para que você possa ter uma base de comparação. Essas escolas serão chamadas de Grupo de Controle e não receberão a intervenção que você está propondo.

Ora, mas se eu acredito que o modelo da Escola da Ponte é uma boa política, por que não fazer isso nas 60 escolas?

Primeiro porque mesmo que você tenha alguma informação sobre casos de sucesso de algumas escolas que seguiram o modelo da Escola da Ponte, ainda não há como saber se esse modelo funciona apenas em condições muito específicas, ou se ele pode mesmo ser aplicado em toda uma rede de ensino. Então você faz um piloto em um número maior de escolas, com características heterogêneas, para saber se esse projeto pode ser aplicado na rede de ensino.

Se os resultados forem positivos, você terá segurança de que os recursos necessários para expandir essa política para todas as escolas da rede vão trazer o retorno esperado. Porém, se na pesquisa você identificar que os resultados positivos são obtidos apenas em casos específicos, ao fazer o piloto você evitou que recursos fossem empregados em larga escala, sem provocar os efeitos esperados na rede como um todo. Ou seja, você evitou desperdício de recursos públicos.

Segundo porque o modelo da Escola da Ponte é apenas um exemplo dentre várias experiências em educação que foram aplicadas em estudos de caso. Imagine se o governo fosse adotar todos os modelos que são sugeridos. Seria possível fazer isso na rede toda de uma só vez? A resposta é não.

Mas, seguindo esse modelo, os alunos das escolas do grupo de Controle não serão prejudicados?

Não, os alunos das escolas que compõem o grupo de controle não perdem nada do que já recebem, mas apenas não ganham o benefício extra que é oferecido às escolas do grupo de tratamento. Esse grupo serve para mensurar o que teria acontecido com os alunos das escolas de tratamento, caso não houvesse o tratamento. Isso é chamado de contra-factual.
Para fazer a mensuração dos efeitos do modelo Escola da Ponte, os pesquisadores vão coletar dados nas 60 escolas, em três momentos distintos: antes das intervenções começarem; ao longo da execução do projeto; e ao final de um período no qual se espera que a intervenção tenha provocado os efeitos esperados.

Por meio da comparação da evolução dos dois grupos será possível identificar qual o efeito real do tratamento para então saber se é possível e se vale a pena expandir o modelo da Escola da Ponte para toda a rede de ensino.

Se os resultados forem positivos, você terá elementos para convencer o governo a adotar a mesma política em toda a rede de ensino, e assim beneficiar todos os alunos da rede.
O segundo ponto que também foi muito questionado refere-se à remuneração das instituições, que será feita apenas para as que obtiverem resultados positivos.
Esse ponto merece bastante atenção porque pode afetar a implementação das intervenções, uma vez que a pressão sobre as escolas do grupo de tratamento será maior do que já ocorre naturalmente nesse tipo de estudo. Segundo porque, se não houver um controle muito rígido, pode haver influência no cálculo do impacto.

Uma solução para isso seria criar uma comissão de pesquisadores da área para selecionar apenas instituições que estejam propondo intervenções que a comissão entende que vão dar o resultado esperado, e pagar pela intervenção em si. O risco para o governo estaria limitado ao valor empregado nessas intervenções. Se os resultados não forem os esperados será necessário verificar se houve problema na implementação, ou se a intervenção não é efetiva como se esperava. Porém, se o efeito for positivo, o governo poderá expandir a política para a rede de ensino, sem maiores riscos de má gestão dos recursos públicos.

A importância da Linha de Base para a Avaliação de Impacto na Gestão de Políticas Públicas

Certamente você já deve ter visto propagandas de gestores públicos dizendo quanto foi investido em determinado programa, quantas pessoas foram beneficiadas, quantos uniformes escolares foram distribuídos, etc… À primeira vista isso pode parecer suficiente para avaliar uma gestão, contudo, é importante ter em mente que divulgar o montante investido ou o número de beneficiários é muito diferente de informar o impacto que os investimentos públicos tiveram na vida da população.

Ou seja, dizer que mil pessoas foram atendidas no novo posto de saúde não significa exatamente que a qualidade do serviço de saúde aumentou. Afirmar que houve uma expansão na capacidade do serviço diz pouco ou quase nada sobre o impacto que esta ação teve na vida dos cidadãos atingidos. Para saber qual o efeito desta ação seria necessário averiguar como esta ampliação de atendimento resultou na melhora dos indicadores de saúde, se é que estes indicadores realmente melhoraram. Isto permitiria ao gestor divulgar não apenas o número de atendidos, mas o efeito produzido por esta ação.

Ainda que isso não pareça uma prioridade dentre a maior parte dos gestores, avaliar o impacto das políticas não é apenas uma maneira de melhorar o accountability da gestão, mas também uma forma de gerar dados que possam subsidiar as decisões que devem ser tomadas.

Além de não ser comum a preocupação com a mensuração do impacto das políticas implementadas, ainda há entre os gestores muita insegurança sobre como fazer uma avaliação deste tipo. Vejamos um exemplo claro de como uma avaliação de efeito de uma política pode ser equivocada.

Imagine que um gestor observou que os alunos de uma determinada escola aumentaram suas notas depois que houve uma mudança no cardápio da merenda escolar. A partir desta observação ele elaborou um relatório apontando essa melhora no desempenho escolar como sendo efeito da mudança no cardápio merenda. Até aqui tudo parece coerente, certo? Errado! A conclusão que o gestor chegou pode estar completamente equivocada e seu relatório pode passar a falsa ideia de que o um novo cardápio vai auxiliar na melhora do rendimento escolar.  Isso acontece porque diversos outros fatores podem ter influenciado as notas dos alunos e, talvez, a mudança no cardápio não tenha relação alguma com o desempenho escolar destes estudantes.

Qual seria então a maneira ideal para se mensurar o efeito de uma determinada política pública na vida dos beneficiários? A resposta é: a partir de uma avaliação de impacto[1] que permita uma comparação da evolução do indicador analisado com um contrafactual. A princípio isso pode parecer muito complexo, mas este exercício analítico é muito mais simples do que parece, na realidade todo o raciocínio deste tipo de investigação parte de uma pergunta trivial: o que teria acontecido com os beneficiários da política pública caso ela não tivesse sido implementada?

Seguindo no mesmo exemplo da mudança no cardápio da escola, a pergunta a ser respondida seria: o que teria acontecido com estes estudantes caso o cardápio tivesse permanecido como era anteriormente?

Sabendo como eram as notas dos alunos antes e depois da mudança no cardápio e estimando o que teria acontecido caso tal mudança nunca tivesse sido implementada é possível comparar os dois cenários e mensurar o verdadeiro impacto da política pública em questão.

Apesar de não ser difícil fazer tal comparação, ela requer uma preparação anterior à implementação da política pública a ser avaliada, e isso ocorre por dois motivos. Primeiro porque neste tipo de análise é necessário ter informações sobre o antes (Linha de Base) e o depois da intervenção (Avaliação Final dos Resultados). Segundo porque para fazer um contrafactual é fundamental ter informações não apenas sobre as pessoas que serão beneficiadas pela política pública (Grupo de Tratamento), mas também é necessário reunir dados sobre os indivíduos que não vão ter acesso a tal benefício (Grupo de Controle). A ideia aqui é comparar a evolução destes dois grupos de indivíduos ao longo do tempo e, a partir disso, calcular o real impacto da política avaliada.

A Linha de Base é importante para medir a condição anterior à intervenção e desta maneira municiar o gestor com informações da situação dos indicadores que deverão ser afetados com a implementação da política pública; a Avaliação Final busca identificar quais os resultados obtidos com as ações dos governos. Por fim, o papel do Grupo de Controle é servir como parâmetro da comparação, este grupo de pessoas será analisado para que se possa estimar o que teria acontecido caso o cardápio não tivesse sido alterado.

Na ilustração abaixo podemos visualizar melhor como é feita tal comparação.

A diferença na evolução da nota do Grupo de Tratamento e a evolução da nota do Grupo de Controle é o impacto obtido pela implementação da política pública, no caso a mudança no cardápio da escola.

Neste início de 2017, mais de 4 mil novos prefeitos e prefeitas estão assumindo seus cargos e com eles e elas surgem novas ideias e muito provavelmente novas políticas públicas. Ou seja, neste momento abre-se uma janela de oportunidade para que os gestores possam planejar não apenas suas intervenções, mas também tracem planos sobre como avaliá-las adequadamente.  Apenas desta forma eles poderão ter certeza dos reais impactos que os recursos públicos investidos proporcionaram aos cidadãos beneficiados. Com isso toda a sociedade ganha, pois teremos maior transparência e confiabilidade acerca das transformações sociais que as políticas públicas implementadas alcançaram. Ademais, ao fim de uma gestão, ter esses dados pode ser uma peça chave para mostrar à população que a contribuição deixada para o município é muito mais do que uma simples peça publicitária.


[1] Importante ressaltar que a avaliação de impacto pode ser prospectiva ou retrospectiva . Como o objetivo do texto é propor um modelo de avaliação mais próximo do ideal, aqui vamos tratar apenas do modo prospectivo porque é ele que oferece maior confiabilidade na mensuração do impacto. (Gertler, Paul J., Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J.Vermeersch. 2016. Impact Evaluation in Practice, second edition. Washington, DC: Inter-American Development Bank and World Bank. doi:10.1596/978-1-4648-0779-4. License: Creative Commons Attribution CC BY 3.0 IGO http://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice)