Certamente você já deve ter visto propagandas de gestores públicos dizendo quanto foi investido em determinado programa, quantas pessoas foram beneficiadas, quantos uniformes escolares foram distribuídos, etc… À primeira vista isso pode parecer suficiente para avaliar uma gestão, contudo, é importante ter em mente que divulgar o montante investido ou o número de beneficiários é muito diferente de informar o impacto que os investimentos públicos tiveram na vida da população.
Ou seja, dizer que mil pessoas foram atendidas no novo posto de saúde não significa exatamente que a qualidade do serviço de saúde aumentou. Afirmar que houve uma expansão na capacidade do serviço diz pouco ou quase nada sobre o impacto que esta ação teve na vida dos cidadãos atingidos. Para saber qual o efeito desta ação seria necessário averiguar como esta ampliação de atendimento resultou na melhora dos indicadores de saúde, se é que estes indicadores realmente melhoraram. Isto permitiria ao gestor divulgar não apenas o número de atendidos, mas o efeito produzido por esta ação.
Ainda que isso não pareça uma prioridade dentre a maior parte dos gestores, avaliar o impacto das políticas não é apenas uma maneira de melhorar o accountability da gestão, mas também uma forma de gerar dados que possam subsidiar as decisões que devem ser tomadas.
Além de não ser comum a preocupação com a mensuração do impacto das políticas implementadas, ainda há entre os gestores muita insegurança sobre como fazer uma avaliação deste tipo. Vejamos um exemplo claro de como uma avaliação de efeito de uma política pode ser equivocada.
Imagine que um gestor observou que os alunos de uma determinada escola aumentaram suas notas depois que houve uma mudança no cardápio da merenda escolar. A partir desta observação ele elaborou um relatório apontando essa melhora no desempenho escolar como sendo efeito da mudança no cardápio merenda. Até aqui tudo parece coerente, certo? Errado! A conclusão que o gestor chegou pode estar completamente equivocada e seu relatório pode passar a falsa ideia de que o um novo cardápio vai auxiliar na melhora do rendimento escolar. Isso acontece porque diversos outros fatores podem ter influenciado as notas dos alunos e, talvez, a mudança no cardápio não tenha relação alguma com o desempenho escolar destes estudantes.
Qual seria então a maneira ideal para se mensurar o efeito de uma determinada política pública na vida dos beneficiários? A resposta é: a partir de uma avaliação de impacto[1] que permita uma comparação da evolução do indicador analisado com um contrafactual. A princípio isso pode parecer muito complexo, mas este exercício analítico é muito mais simples do que parece, na realidade todo o raciocínio deste tipo de investigação parte de uma pergunta trivial: o que teria acontecido com os beneficiários da política pública caso ela não tivesse sido implementada?
Seguindo no mesmo exemplo da mudança no cardápio da escola, a pergunta a ser respondida seria: o que teria acontecido com estes estudantes caso o cardápio tivesse permanecido como era anteriormente?
Sabendo como eram as notas dos alunos antes e depois da mudança no cardápio e estimando o que teria acontecido caso tal mudança nunca tivesse sido implementada é possível comparar os dois cenários e mensurar o verdadeiro impacto da política pública em questão.
Apesar de não ser difícil fazer tal comparação, ela requer uma preparação anterior à implementação da política pública a ser avaliada, e isso ocorre por dois motivos. Primeiro porque neste tipo de análise é necessário ter informações sobre o antes (Linha de Base) e o depois da intervenção (Avaliação Final dos Resultados). Segundo porque para fazer um contrafactual é fundamental ter informações não apenas sobre as pessoas que serão beneficiadas pela política pública (Grupo de Tratamento), mas também é necessário reunir dados sobre os indivíduos que não vão ter acesso a tal benefício (Grupo de Controle). A ideia aqui é comparar a evolução destes dois grupos de indivíduos ao longo do tempo e, a partir disso, calcular o real impacto da política avaliada.
A Linha de Base é importante para medir a condição anterior à intervenção e desta maneira municiar o gestor com informações da situação dos indicadores que deverão ser afetados com a implementação da política pública; a Avaliação Final busca identificar quais os resultados obtidos com as ações dos governos. Por fim, o papel do Grupo de Controle é servir como parâmetro da comparação, este grupo de pessoas será analisado para que se possa estimar o que teria acontecido caso o cardápio não tivesse sido alterado.
Na ilustração abaixo podemos visualizar melhor como é feita tal comparação.
A diferença na evolução da nota do Grupo de Tratamento e a evolução da nota do Grupo de Controle é o impacto obtido pela implementação da política pública, no caso a mudança no cardápio da escola.
Neste início de 2017, mais de 4 mil novos prefeitos e prefeitas estão assumindo seus cargos e com eles e elas surgem novas ideias e muito provavelmente novas políticas públicas. Ou seja, neste momento abre-se uma janela de oportunidade para que os gestores possam planejar não apenas suas intervenções, mas também tracem planos sobre como avaliá-las adequadamente. Apenas desta forma eles poderão ter certeza dos reais impactos que os recursos públicos investidos proporcionaram aos cidadãos beneficiados. Com isso toda a sociedade ganha, pois teremos maior transparência e confiabilidade acerca das transformações sociais que as políticas públicas implementadas alcançaram. Ademais, ao fim de uma gestão, ter esses dados pode ser uma peça chave para mostrar à população que a contribuição deixada para o município é muito mais do que uma simples peça publicitária.
[1] Importante ressaltar que a avaliação de impacto pode ser prospectiva ou retrospectiva . Como o objetivo do texto é propor um modelo de avaliação mais próximo do ideal, aqui vamos tratar apenas do modo prospectivo porque é ele que oferece maior confiabilidade na mensuração do impacto. (Gertler, Paul J., Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J.Vermeersch. 2016. Impact Evaluation in Practice, second edition. Washington, DC: Inter-American Development Bank and World Bank. doi:10.1596/978-1-4648-0779-4. License: Creative Commons Attribution CC BY 3.0 IGO http://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice)
Gostei muito da explanação do assunto sobre avaliação de impacto na gestão pública, e a importância da linha de base e seus elementos.