Como funciona o Orçamento por Resultados?

A Plan está auxiliando a Secretaria de Planejamento e Desenvolvimento Regional do Estado de São Paulo na implementação do Projeto de Orçamento por Resultado (OpR) e, diante da atualidade do tema, o post dessa semana irá falar um pouco sobre o que é o OpR e qual o papel da avaliação nesse tipo de projeto.

Como o próprio nome já diz, OpR é um sistema em que o orçamento de uma instituição, órgão ou empresa está diretamente vinculado à obtenção de um resultado específico e pré-determinado. Desta forma, procura-se evitar a alocação inadequada dos recursos financeiros ou mesmo o seu desperdício.

Supondo que um órgão voltado à promoção de saúde, por exemplo, queira ampliar o número de atendimentos básicos realizados por ano, é possível atrelar seu orçamento anual à execução de ações que comprovadamente levam ao atingimento deste resultado pretendido, tais como contratação de mais médicos e aquisição de novos espaços e equipamentos.  Portanto, o OpR pode ser considerado uma estratégia bastante importante à Administração Pública no desempenho de suas funções, permitindo, inclusive, que os serviços prestados atinjam aos beneficiários com maior eficácia e qualidade.

No entanto, a implementação de OpR não se esgota na elaboração orçamentária; é preciso desenvolver mecanismos que possam indicar que o OpR cumpre com a sua finalidade primordial, que é o atingimento dos resultados pretendidos. E é neste contexto que se insere o monitoramento e a avaliação.

Não basta direcionar o orçamento à execução de atividades focadas no atingimento de um resultado; é necessário, sobretudo, monitorar e avaliar se estas atividades realmente contribuem para o atingimento deste resultado, sendo a criação de indicadores de desempenho a ferramenta mais indicada para este fim. Isto porque são os indicadores que irão medir o desempenho da instituição, órgão ou empresa na concretização do OpR, avaliando se o resultado pretendido foi ou não atingido.

Adicionalmente, estes indicadores também permitem identificar eventuais obstáculos e desafios à concretização do OpR, possibilitando a realização dos ajustes necessários antes da ocorrência de prejuízos irreparáveis. Diante disso, são ferramentas essenciais para garantir a adequada alocação do orçamento.

A Organização das Nações Unidas, por meio do documento intitulado Results-Based Management in the United Nations Development System: Progress and Challenges, reforçou este entendimento ao definir que o OpR consiste na (i) formulação do orçamento baseada em objetivos pré-definidos e resultados esperados; cujos (ii) resultados justificam os recursos despendidos nas atividades, que estão necessariamente relacionadas ao seu cumprimento; e em que (iii) a performance e o desempenho são medidos por indicadores objetivos.

Portanto, além de vincular o orçamento a atividades necessárias ao atingimento de um resultado específico, é essencial ao projeto de OpR que este resultado esperado possa ser mensurado, pois é a partir desta mensurabilidade que os indicadores apropriados são elaborados.

Assim como os inúmeros instrumentos de gestão existentes, o OpR e seus indicadores devem ser sistematicamente acompanhados, de forma automatizada, mecânica ou até mesmo manual. Por isso, durante sua elaboração, além de ter em mente a viabilidade dos resultados esperados, é fundamental ser preciso na definição dos indicadores e realista quanto às possibilidades de acompanhamento.

O Bolsa Família Contribui para Reduzir a Desnutrição?

O Ministério do Desenvolvimento Social apresentou ontem, 16 de setembro, um estudo que indica melhora nos padrões nutricionais das crianças entre 0 e 5 anos contempladas pelo programa Bolsa Família.

A fase da primeira infância é um período crítico pois determina a trajetória de desenvolvimento das pessoas nas habilidades cognitivas, sociais, intelectuais e psicológicas. Case, Lubotsky e Paxon (2002), por exemplo, mostraram que crianças com más condições de saúde tendem a se tornar adultos com padrões socioeconômicos mais baixos.

Para medir a saúde nutricional das crianças, o estudo do MDS utilizou a estatura e o peso como indicadores. A pesquisa envolveu avaliações transversais e longitudinais feitas entre 2008 e 2012, e mostrou que houve uma redução no déficit de saúde das crianças contempladas ao comparar estes números com os padrões de referência da Organização Mundial de Saúde (OMS).

Fonte: (Jaime et al. 2014)

Podemos, então, concluir que o Bolsa Família tenha sido o responsável por esta melhora na saúde das crianças? Acredito que não. Apesar de os números mostrarem que de fato os padrões nutricionais melhoraram, não há indicação no estudo de que a amostra analisada tenha incluído crianças não contempladas pelo programa, portanto, não é possível atribuir esse efeito exclusivamente ao Bolsa Família.

Na maioria dos casos, a maneira mais apropriada de se avaliar o impacto de um programa social é comparar as pessoas afetadas pelo programa com um grupo contrafactual, ou seja, um grupo que não participou do projeto. Esses grupos devem ser em média iguais em variáveis potencialmente causais como renda familiar e escolaridade, bem como em características não-observáveis. Para que esses fatores se diluam, deve haver uma seleção aleatória dos membros de cada grupo, possibilitando iguais condições para compará-los.

O motivo de realizar avaliações de impacto utilizando esse método é o de poder “isolar” o efeito do programa de outros fatores externos, como a chegada de uma empresa na comunidade, por exemplo, ou a presença de até mesmo outros programas sociais.

É bastante provável, no entanto, que o Bolsa Família tenha afetado positivamente a saúde dessas crianças. De fato, o estudo mostra que o déficit de estatura de um grupo acompanhado durante os 5 anos diminuiu ao longo do tempo, e é bastante plausível a hipótese de que a melhora nas condições nutricionais propiciada pela combinação de maior poder aquisitivo, assiduidade escolar e as condicionalidades de saúde seja uma das causas desse aumento da estatura média. Por outro lado, é difícil dimensionar o impacto do Bolsa Família pois o programa pode ter “pegado carona” com outras ações públicas ou privadas que tenham gerado benefícios semelhantes.

Há questões éticas envolvendo experimentos aleatórios, pois programas que provavelmente tragam benefícios à população não deveriam ficar restritos a um pequeno grupo. Por isso, outras técnicas de avaliação como, por exemplo, Diferenças em Diferenças, podem ser mais apropriadas.

Referências

JAIME, Patricia C.; et al. Desnutrição em Crianças de Até Cinco Anos Beneficiárias do Programa Bolsa Família: Análise Transversal e Painel Longitudinal de 2008 a 2012. Cadernos de Estudos: Desenvolvimento Social em Debate. n. 17. p. 49-62. 2014

Disponível em: http://www.mds.gov.br//saladeimprensa/noticias/2014/setembro/tempo-de-permanencia-das-criancas-no-bolsa-familia-contribui-para-reduzir-desnutricao

MINISTÉRIO DO DESENVOLVIMENTO SOCIAL. Tempo de permanência das crianças no Bolsa Família contribui para reduzir desnutrição.

CASE, Anne; LUBOTSKY, Darren; PAXON, Christina. Economic Status and Health in Childhood: The Origins of the Gradient. The American Economic Review. v. 92. n. 5. p. 1308-1334. 2002.

Reflexões a 25 mil pés de altitude

Em abril passado cedemos um de nossos avaliadores a uma fundação norte-americana. Recebemos ontem este bilhetinho enviado por ele numa garrafa que nos chegou boiando pelo Atlântico:

Voar sempre me faz refletir. Há algum tempo voava por majestosas nuvens de tempestade entre São Paulo e Boston, voltando para casa, ruminando sobre a empresa que acabava de deixar. Sem mergulhar nos detalhes dos meus pensamentos, tentei escavar as origens comuns das experiências que passei entre meus colegas da Plan.
You'll get there

A Plan parece ser uma entre um punhado de instituições brasileiras que exclusivamente se dedicam ao monitoramento e à avaliação. Além disso, a Plan avidamente solicita trabalho de uma diversidade de clientes. O perfil variado dos clientes requer mais do que uma estratégia inteligente: cria um ambiente de projetos forçosamente artesanais e personalizados.

O que me impressionou e ainda me impresiona sobre meus colegas foi que, em um ambiente avesso ao risco e à incerteza, não cederam ao reflexo comum de se simplificar e especializar. Enquanto estava lá, nem estreitaram seu campo de clientes, nem se restringiram a um conjunto definido de métodos independentes da natureza do projeto.
Com um esforço incansável, evitavam se considerar especialistas oniscientes que chegam para resolver definitivamente os problemas dos outros. Ao contrário, se desafiaram a aprender, a considerar profundamente cada situação e evoluir ao lado de cada projeto. Enquanto projetavam uma imagem de solidez profissional, internamente conservaram um ambiente honesto, aberto e flexível que encorajava a experimentação e aceitava os riscos inerentes a isso, assim protegendo a chama delicada da inovação e da criatividade.

O que a Plan faz não se traduz fluidamente para um folder promocional ou para um desses sites desses de consultoria cheio de palavras-chave (“synergistic innovation in evaluative practice for a complex global community”…blá,blá,blá). Mas é essa a recusa do caminho fácil, a dedicação invisível desta empresa (além das capacidades incríveis dos indivíduos), que faz da Plan uma equipe formidável.

Não posso imaginar um grupo com o qual me orgulharia mais de ter trabalhado.

Sinceramente,
Will

Visualização de Dados Georreferenciados, parte 1

Falamos há duas semanas da beleza da visualização de dados e de como, nesse processo, é possível encontrar evidências ou indícios que passariam despercebidos de outra forma. Vimos também que a visualização de dados pode assumir muitas formas e funciona muito para lá dos gráficos de pizza e, ao longo dos próximos posts, falaremos um pouco mais sobre isso. Hoje, começaremos a falar de visualização de dados associados a informações geográficas.


Exemplo clássico desta forma de visualização de dados é o mapa de cólera que John Snow desenvolveu em 1854, durante um surto de cólera em Londres. Em apenas três dias, tinham falecido 127 pessoas, todas elas na vizinhança da Broad Street. A hipótese mais comum era de que o surto seria provocado pela poluição ou por um “mau ar”, mas a proximidade geográfica entre os casos indiciava que a causa seria outra.

John Snow, que já em 1849 havia questionado essa hipótese, conseguiu demonstrar a sua teoria mapeando os casos de cólera. No mapa [consulte versão ampliada aqui], nota-se claramente a proximidade geográfica dos casos de cólera registrados e, no seu centro, o que viria a ser identificado como origem da epidemia: o poço de água da Broad Street.


Aprofundando a proposta de Bill Rankin, que tinha mapeado as fronteiras étnicas de Chicago, Dustin Cable desenhou um mapa racial dos Estados Unidos, colorindo um ponto por habitante. Recorrendo a dados do Censo de 2010, e com pontos de tamanho inferior a um pixel, Cable definiu não só as fronteiras raciais, mas deu um passo para a identificação de zonas de maior e menor integração racial, por considerar cores intermédias em caso de sobreposição. O mapa de Cable pode ser analisado com mais pormenor aqui.

a beleza da visualização de dados

Aprendemos desde cedo que quando o interlocutor não entende o que falamos é melhor fazer um desenho. Lição útil para comprar mel na Alemanha quando não se acerta na pronúncia ou para anotar direções no Japão quando não se entende as placas, mas também no trabalho, quando o cliente não entende conceitos estatísticos ou, como acontece vezes demais, tudo o que conhece sobre números é como os contar e falando em gráficos tudo acaba em pizza.

Ao mesmo tempo, a visualização de dados não só transforma números brutos em coisas relativamente bonitas, mas permite também descobrir ideias novas que passam muitas vezes despercebidas nas planilhas e nas tabelas, sejam elas as diferenças socioeconômicas entre regiões de uma mesma cidade, a história das potências mundiais ou a evolução da relação entre renda e esperança média de vida.

Para hoje, recomendamos “A Beleza da Visualização de Dados” (legendas em português):

Conquistas em 2013

Dois mil e treze foi de importantes realizações para a Plan. Fechamos o ano com o melhor resultado desde nossa fundação em 2007. Destaco a realização de duas avaliações complexas envolvendo programas verdadeiramente transnacionais, com parceiros baseados em 37 países. Estamos satisfeitos por termos feito a diferença na vida de um número grande de pessoas, em particular por intermédio de avaliações na área de direitos humanos.

O foco na avaliação de programas de advocacy (a defesa de causas nos organismos decisórios como governos, legislaturas e organizações multilaterais), fez com que a Plan aperfeiçoasse os métodos de atuação nessa área. Apresentamos um trabalho sobre o assunto no Seminário da Rede Brasileira de Monitoramento e Avaliação, assinado pelo consultor William Faulkner.

Destaco também nossa evolução nas pesquisas de campo com questionários padronizados (surveys). Em 2013 estivemos em dois terços dos estados brasileiros. Fizemos ainda sondagens por telefone para empresas e governos, sob coordenação do consultor João Martinho.

O ponto alto de nossa atuação de campo aconteceu em outubro. Aplicamos uma complexa pesquisa domiciliar em comunidades beneficiadas por obras de urbanização no Espírito Santo, envolvendo 1.800 famílias. A capacidade de coordenação de nossa gerente de avaliação Camila Cirillo e o apoio de nossa estagiária Ana Paula Simioni foram essenciais para o sucesso dessa pesquisa.

A ferramenta de mapeamento de indicadores locais foi outro marco de nossa trajetória em 2013. Esse software permite a governos e empresas priorizar suas políticas sociais por meio da identificação de carências de populações específicas em sua área de atuação. Para o seu desenvolvimento, contamos com a inventividade de Mauro Zackiewicz na produção de uma interface gráfica original.

Nenhuma dessas realizações teria sido possível sem o apoio de centenas de pesquisadores de campo e consultores associados, aos quais mais uma vez agradecemos.

Em 2014 seguiremos apostando no crescente mercado da avaliação de programas, contribuindo para o aperfeiçoamento da gestão pública e da participação social.

Desmatamento no Brasil [2000-2012]

Resultado de uma parceria da Universidade de Maryland, Google, US Geological Survey e NASA, foi disponibilizado no dia 15 de novembro o primeiro mapa mundial de mudanças na floresta, que abrange o período de 2000 a 2012 e permite identificar, particularmente, a evolução do desmatamento. O artigo completo saiu na última edição da Science.


Desmatamento no Brasil entre 2000 e 2012

Olhando particularmente o caso do Brasil, identifica-se claramente que o estado Amazonas tem sido relativamente poupado do desmatamento desde 2000 [forest cover loss], sendo as excepções as fronteiras com Acre, Rondônia e Mato Grosso e as margens dos rios e das estradas nacionais. Seja pela inacessibilidade de grande parte do Estado, seja pela visibilidade do trabalho de várias organizações contra o desmatamento, a verdade é que o Amazonas sofreu nos últimos doze anos relativamente menos com o desmatamento que quase todos os restantes estados brasileiros.

Pelo contrário, os vizinhos Acre, Rondônia, Roraima, Mato Grosso e Pará – este último particularmente nas margens dos rios e estradas nacionais -, apresentam índices de desmatamento visivelmente altos. Mais, olhando aos índices de reflorestamento ou criação de nova floresta [forest cover gain], nota-se que quase nada da floresta que se perdeu foi reflorestada no período, ao contrário do que é visível, por exemplo, no Sul e Sudeste brasileiros.

Apesar disso, nota-se que o ritmo do desmatamento no Brasil abrandou no período de pesquisa [forrest loss year], ainda que não tenha sido suficiente para conter a perda de, em média, 2.101 km2 de floresta tropical no mundo por ano. Nesse sentido, os pesquisadores realçaram, entre outros fenómenos, os desmatamentos no Peru e Paraguai, aliás igualmente identificáveis na imagem.

Onde estão os avaliadores brasileiros?

Não há avaliadores no Brasil.

Foi a conclusão que levei do último congresso da Rede Brasileira de Monitoramento e Avaliação, ocorrido na Unicamp, em Campinas-SP, de 25 a 27 de setembro. Não é dizer que não haja pessoas que desempenham projetos de avaliação em suas diversas manifestações. Também não quer dizer que não existam funcionários públicos, diretores de responsabilidade social empresarial, e ongueiros comissionando trabalhos que engajam os anéis reflexivos dentro das organizações, apoiados pelas metodologias das ciências sociais. Mas a identidade do campo, da prática e dos profissionais é atomizada, dispersa entre inúmeros outros nomes.

Uma rosa por outro nome…?

Bem, acredito que a avaliação, como conceito, é tão natural quanto necessária. Parafraseando Mark, Greene, e Shaw, “talvez julgar coisas de forma avaliativa é ainda mais básico [na psicologia humana] que dar sentido ao mundo descritivamente.” Após algumas páginas afirmam: “se você pedir a 10 avaliadores que definam a avaliação, vai ouvir 23 definições diferentes”. (SAGE Handbook of Evaluation, 2006) O fato de a atividade da avaliação ser intrinsecamente enraizada na prática a meu ver exige criatividade e flexibilidade saudáveis do profissional. Quanto mais vinculado com a realidade quotidiana dos projetos sociais, menos risco de se tornar uma coisa rígida e monoteórica. Kuhn se referia aos campos das “ciências maduras”, mas serve como uma ótima prefiguração do que pode acontecer se fosse arrancado desses ambientes:

“vamos finalmente descrever a pesquisa como uma tentativa vigorosa e dedicada de forçar [a coisa pesquisada] nas caixas conceituais fornecidas pela educação profissional.” (tradução minha)

Quer dizer que a atividade de avaliar vai ocorrer de uma forma ou de outra, mas reunir um núcleo de pessoas que se identificam como avaliadores profissionais é uma tarefa difícil.

A tarefa da RBMA é então ultra delicada: construir uma nova comunidade, o esqueleto de uma nova disciplina no país, unida, mas não tão unida. Este desafio vem com enormes responsabilidades, principalmente a articulação da identidade profissional do avaliador.

A profissão do avaliador

O caminho que leva a uma comunidade avaliativa brasileira robusta e vivaz será calçado com passos concretos. Acho que foi isso que respaldava a pergunta de Martha McGuire durante o evento:

—O site da RBMA tem uma listagem de avaliadores?

Não tem.

Outro desalinhamento sutil de destaque: quantos participantes do seminário foram convidados para um outro congresso internacional especificamente sobre a criação de comunidades nacionais de avaliação…EM SÂO PAULO…TRÊS DIAS APÓS O EVENTO DA RBMA? Quantos ao menos estavam cientes que ocorreria? Por que separar os dois eventos para começar, se os interesses dos envolvidos são tão otimamente alinhados? Ok, havia discussões online prévias à conferência, e talvez foi por questões logísticas que tiveram de ser separados. Mas é um precedente desvantajoso para quem está procurando fortalecer e unificar. A American Evaluation Association já conta com mais de 4.000 membros, e os representantes da Fundação Ford, da USAID, e da Western Michigan University (único doutorado de avaliação oferecido nos E.U.A.) participam no mesmo nível e respondem aos mesmos processos seletivos que o resto dos membros. Visto a identidade já fraca e dispersa do avaliador brasileiro, não é o momento de enviar mensagens de exclusividade.

Olhando para frente, estou otimista. A RBMA está fazendo um trabalho difícil, nobre, e de altíssimo valor. Mas para que a avaliação como entidade orgulhosa e independente floresça, objetivo com que acho que todos as participantes na rede estão de acordo, o diabo está nos detalhes.

Um dia de campo

No trabalho de campo das avaliações de políticas públicas nos deparamos com muitas realidades. Quase sempre distintas entre si, complexas e contraditórias, elas chocam, impactam, geram um turbilhão de sentimentos e reflexões. Provocam tudo, menos a indiferença.

Na minha última experiência tive a oportunidade de conhecer “por dentro” uma comunidade do morro, de sentir a favela vivida.

Chegando lá a primeira sensação foi de desconforto. Logo na entrada, o aviso pichado no muro nos lembrou de que aquela área não nos pertencia: “por favor, abaixar o vidro, desliga o farol, tira o capacete”. Ali o trânsito não era livre.

Com o carro da Prefeitura chegamos somente até aquele ponto. O instrumento da nossa sensação de segurança ficou ali, estacionado no fim da rua. A partir daí somente becos, ruelas e escadarias. Um emaranhado de caminhos nos levava cada vez mais para o alto, mais perto do céu. A vista do alto do morro era espetacular, mas no trajeto, a pobreza e o lixo desenhavam o cenário do abandono.

Passamos três vielas, subimos uma escadaria e iniciamos nossa busca pelo primeiro entrevistado. Abandonar o mapa com os nomes das ruas e números das casas foi a primeira e mais sábia providência.

– “Boa tarde. Por favor, o senhor sabe onde fica a casa da Dona Marta?”

– “A esposa do Marcos? Ih, saiu e só volta no final do dia!”

– “E a casa da Marina?”

– “É aquela laranja logo ali, nos fundos da amarela, depois da escada.”

Chamamos à porta. Em meio às tarefas da casa, Marina me convidou para entrar.  Ainda desconcertada, permaneci ereta, retesada, porém com um sorriso constante, quase que forçado, tentando realizar minha entrevista. Foram necessários, no entanto, apenas alguns minutos para que o calor daquela casa quebrasse o gelo da minha redoma e me permitisse sentir a realidade. Água, bolo, café. De tudo que me ofereceu, aceitei apenas relaxar.

Saindo dali, conversamos com mais algumas famílias e seguimos pelos becos e escadarias. A sensação ainda era de desconforto, mas agora ela se misturava com a curiosidade, com a empatia, e ao final do dia dividia o espaço com muitos outros sentimentos.

À tarde, as pessoas começaram a voltar para suas casas, a senhora que subia o morro cumprimentou a vizinha que estava na janela; uma adolescente carregava o filho para perto do amigo que voltava da escola; na frente da vendinha do seu Antonio algumas crianças empinavam pipa e jogavam bola.

Naquele momento, a situação de pobreza que saltava aos olhos e a miséria de alguns foram ofuscadas pela constatação de que naquele espaço também existia algo de precioso.

A intensa circulação de pessoas, o uso e ocupação de todos os espaços e a vida comunitária ali presentes não se enquadravam nos padrões e dinâmicas vividos na cidade formal. A vontade de permanecer ali, de conhecer aquelas pessoas e tentar, ainda que em vão, experimentar a sensação de viver como todos eles, reverberou dentro de mim.

Carentes de muitos bens e serviços, acostumados a outras formas de violência e opressão, os moradores  de lá possuíam valores que nós perdemos em algum lugar no tempo. Saí com a certeza de que onde moro as pessoas não se relacionam, muito menos circulam tão livremente; lembrei de  histórias pessoas que angustiadas com as amarras de suas vidas escolheram o extremo, abrindo mão de tudo que tinham. Agora eu me pergunto: qual o preço dessa liberdade? E como deve ser morar e viver onde se quer, sem ter nada a perder?