Publicado em

Impact Bonds: avaliando o financiamento privado de programas sociais

Pela primeira vez em um país em desenvolvimento, na Colômbia, foi lançado um “Social Impact Bond” (SIB). O programa patrocinado pelo título de dívida tem como objetivo ajudar 514 indivíduos classificados abaixo da linha de pobreza ou desalojados devido ao conflito interno que vive o país a encontrar trabalho. O foco são pessoas formadas no ensino médio, com 18 a 40 anos, que, na data de início do programa, não possuíam emprego. Financiado em 50% pelo governo do país e 50% pelo governo da Suíça, por meio de agências internacionais de apoio em parceria com o Banco Interamericano de Desenvolvimento (BID), a trajetória do SIB vem sendo acompanhada de perto pela Instiglio, organização sem fins lucrativos, dedicada ao desenvolvimento de Impact Bonds em todo o mundo. A consultoria Deloitte será a responsável pelas avaliações independentes necessárias neste processo.

O Impact Bond é um sistema de financiamento de políticas de interesse da sociedade. Além do SIB, há também o Development Impact Bond (DIB), que já é utilizado em outros dois países em desenvolvimento, Peru e Índia. Tanto SIB como DIB possuem a mesma inspiração financeira. Um operador privado aporta o capital inicial e assume o risco do investimento. Caso tenha sucesso na avaliação de impacto feita por um organismo independente, o governo ou garantidor privado cobre seu investimento e uma margem de lucro pré-definida. A maior diferença entre SIB e DIB é o financiador final; no primeiro, este é o governo, enquanto no DIB o financiador é uma instituição garantidora privada.

Para os avaliadores profissionais, a parte que chama mais atenção é o fato de o sistema depender de medições externas, independentes dos dois agentes principais do contrato, para certificar a eficiência e os incentivos corretos na prestação dos serviços propostos pelos Impact Bonds. No caso do DIB peruano, a intervenção é um suporte para o cultivo de cacau pela população indígena em áreas da Amazônia. O objetivo é aumentar a produção e o retorno financeiro da população da região com a commodity. A medição é feita com uma linha de base, definida no início do tratamento, e com indicadores medidos durante e após a intervenção. No entanto, as medições nesse caso não possuem grupos de controle, o que pode gerar distorções na análise dos dados.

Brookings

Já na Índia, o primeiro caso de um DIB para educação ocorreu no Rajastão. O projeto é direcionado para educação de meninas, um problema fundamental no país asiático e outros lugares do mundo, onde muitas vezes mulheres são impedidas pelas próprias famílias de ter qualquer tipo de educação. O projeto consiste em dar suporte à ONG Educated Girls, que tem como objetivo aumentar a assiduidade na escola, as notas e diminuir a taxa de evasão de meninas e meninos. O projeto inclui equipe que vai de casa em casa conversar com pais e mães para convencê-los a matricularem seus filhos e, principalmente, filhas nas escolas.

O sistema de medição de impacto do projeto de educação na Índia tem formato diferente do peruano. Além da linha de base, a empresa de consultoria IDinsight, contratada para fazer a avaliação de impacto externa, utilizou a base de escolas da ONG Educate Girls para formar um grupo controle que não receberia o tratamento, sendo mantido para comparação. Como as escolas da base de dados foram escolhidas de forma aleatória para o grupo controle e tratamento, podemos dizer que a avaliação tem formato experimental, e que, portanto, se presta a determinar se o tratamento efetivamente causou o impacto observado.

Fonte: Instiglio

No caso peruano, como estamos falando de uma avaliação com comparação entre linha de base e resultado final, sem grupo controle, fatores não observáveis podem gerar problemas de inferência de causalidade. Um exemplo é o desempenho do mercado de cacau no mundo. Caso o impacto externo no mercado de cacau seja positivo, os indicadores serão impactados positivamente e não necessariamente esse impacto estará relacionado com o programa. A falta de grupo de controle será um problema em casos como esse, podendo premiar (ou não) o controlador do programa devido a fatores que ele não controla, reduzindo a validade da avaliação e possivelmente causando futura desconfiança em novos acordos na região.

Já o formato da avaliação de impacto utilizada no DIB indiano não só utiliza grupo controle, como escolhe grupos controle e tratamento por sorteio aleatório. Primeiro, a utilização de um grupo controle permite que impactos provenientes de outras fontes que não o programa possam ser retirados dos impactos que observamos nos indicadores, deixando apenas aqueles relacionados ao tratamento. Nesse caso, por exemplo, uma melhora estrutural no sistema educacional da Índia seria identificada por tratamento e controle e não entraria na contabilidade do indicador final, que compara um com o outro. Segundo, as amostras serem aleatórias para grupos tratamento e controle traz mais eficiência ao avaliar os reais impactos do programa, mostrando impactos causais entre indicadores e tratamento.

Em suma, apesar de entender que nem sempre temos a possibilidade de fazer um sistema de avaliação de impacto com grupos tratamento e controle criados aleatoriamente, é importante sempre ter em mente possíveis formas de retirar da avaliação causas externas à intervenção que não deveriam ser contabilizadas.

Programas como os Impact Bonds são muito bem vindos para a melhoria do funcionamento e da prestação de serviços de interesse público e social no mundo, principalmente para países em desenvolvimento. O mais interessante desse sistema é ele buscar a eficiência por desenho, exatamente porque utiliza sistemas de medição para certificar que o serviço seja prestado e atestar a qualidade oferecida. Isso tudo tirando o ônus do risco das mãos do setor público e instituições financiadoras, além de jogar incentivos diretamente para o setor privado, que, de modo geral, lida bem com estas variáveis. Na Plan vemos com muito bons olhos iniciativas que valorizam a medição para garantir o maior impacto possível de uma intervenção, seja por parte do setor público ou privado.

Fontes:

  • Autonomous and sustainable cocoa and coffee production by indigenous Asháninka people of Peru. Field mission for the verification of impact indicators of the Development Impact Bond agreement CFC/2013/03/139FT: http://common-fund.org/fileadmin/user_upload/Verification_Report.pdf
  • Brookings Institute, https://www.brookings.edu/blog/education-plus-development/2016/07/18/educate-girls-development-impact-bond-could-be-win-win-for-investors-and-students/
  • Brookings Institute, https://www.brookings.edu/blog/education-plus-development/2017/03/31/colombia-leads-the-developing-world-in-signing-the-first-social-impact-bond-contracts/
  • Instiglio, http://instiglio.org/educategirlsdib/wp-content/uploads/2015/09/Educate-Girls-DIB-Sept-2015.pdf
  • Instiglio, http://www.instiglio.org/en/impact-bonds/
  • Instiglio, http://www.instiglio.org/en/sibs-worldwide/
  • William R. Shadish, Thomas D. Cook, & Donald T. Campbell; “Experimental and Quasi-Experimental Designs for Generalized Causal Inference”; Houghton Mifflin Company. 2002.
Publicado em

Racismo nas relações diárias – “benefícios discriminatórios”

Nos últimos meses, os Estados Unidos voltaram a debater fortemente a questão das discriminações de base racial. Esse retorno ao tema ganhou força a partir dos acontecimentos envolvendo ações policiais e jovens negros em diversos estados americanos que, inclusive, resultaram na morte de alguns deles. Em repúdio a esses acontecimentos, no final do ano de 2014, milhares de pessoas saíram em protesto em diversas partes dos EUA, argumentando que haveria por parte dos policiais e da justiça americana uma política discriminatória.

A argumentação dos manifestantes, assim como de uma parcela significativa da sociedade civil, acadêmicos, jornalistas e até mesmo alguns políticos, é que jovens negros seriam mais visados pela justiça do que jovens brancos: o simples fato de ser negro já colocaria os jovens em maior vulnerabilidade para serem alvos de ações policiais, independentemente de eles serem ou não culpados, ou seja, eles seriam mais propícios à abordagem policial e, quando abordados, reclamam de haver maior violência envolvida, além do que, diversas vezes, por princípio, são considerados suspeitos, ou até mesmo culpados de crimes que podem não ter cometido.

Um dos casos emblemáticos foi o que culminou na morte de Michael Brown, morto pelo policial Darren Wilson, em 9 de agosto de 2014, na cidade de Ferguson, periferia de St. Louis, Missouri. Segundo a versão oficial, o jovem foi morto após reagir a uma abordagem policial e ser atingido por sete tiros. Brown não portava armas e não possuía nenhum antecedente criminal. A abordagem foi feita após o policial ver semelhanças entre o perfil de Brown e o perfil descrito pouco tempo antes no rádio, de um jovem que roubará um centro de conveniências. Independentemente de Brown ser ou não culpado, o que se colocou em questão foi a forma violenta da abordagem. Wilson foi levado a júri, mas acabou inocentado.

Esse contexto de tensão racial criou espaço na mídia para discussões que já eram, de certa forma, consideradas ultrapassadas no contexto americano. Um interessante texto envolvendo essa temática foi publicado no dia 24/02/2015, no jornal The New York Times. No artigo “When Whites Get a Free Pass” (“Quando os brancos têm passe livre”), escrito por Ian Ayres, o autor traz um estudo realizado na Austrália, conduzido pelos economistas Redzo Mujcic e Paul Frijters, da Universidade de Queensland, no qual eles pensam a discriminação atualmente, com foco nos privilégios obtidos por brancos nas relações diárias.

Para a realização desse estudo, os pesquisadores treinaram um total de 29 jovens, negros e brancos, homens e mulheres, que deveriam embarcar em ônibus públicos na cidade de Brisbane e, ao passar o cartão de ônibus na catraca, o scanner fazia um barulho e avisava que não havia créditos disponíveis. Nesse momento, os jovens estavam orientados a dizer: “Eu não tenho dinheiro, mas preciso muito chegar até a estação X”. Todos os jovens citavam estações que estavam a distâncias semelhantes – a estação citada variava conforme o ponto de embarque.

Tendo feito mais de 1.500 observações, o estudo atestou, com relevância estatística, dados de discriminação: os motoristas de ônibus eram duas vezes mais suscetíveis a deixar pessoas brancas embarcarem de graça do que negros (72% contra 36%). A pesquisa aferiu também que mesmo quando os motoristas eram negros, os passageiros brancos foram favorecidos (83% dos casos versus 68%). Foram testadas também situações onde os jovens estavam vestidos como soldados ou em trajes sociais de trabalho: nesses casos, jovens brancos tiveram sucesso em 97% das tentativas, enquanto jovens negros tiveram sucesso em apenas 77% das vezes.

Estudos desse tipo, onde pesquisadores comparam o tratamento recebido por pessoas brancas e negras, não são novidades. O que é interessante nessa pesquisa é que os professores conseguiram perceber os privilégios recebidos por brancos nas relações diárias. Como Ian Ayres coloca, atualmente, é mais difícil ver pessoas em posição de autoridade negar direitos às minorias, mas é fácil visualizar cenários onde pessoas com poder de decisão em situações diárias como, por exemplo, os motoristas de ônibus, concebem privilégios aos que não se encaixam em grupos minoritários. Nesse sentido, “benefícios discriminatórios” são mais correntes do que propriamente “negações discriminatórias”.

Voltando aos casos dos jovens negros nos Estado Unidos, esse tipo de relação demonstrada pelos pesquisadores nesse estudo ajuda a compreender a revolta das minorias, que se sentem discriminadas em casos nos quais jovens brancos não seriam nem mesmo abordados. É como se os jovens brancos tivessem uma espécie de “passe livre” ainda que isso não seja algo consciente por parte dos policiais, ou até mesmo por parte daqueles responsáveis pela justiça criminal.

É interessante que o estudo demonstra que esse tipo de comportamento – “benefícios discriminatórios” – é pouco consciente. Após o período de campo, os motoristas foram abordados e solicitados a responder um questionário. Quando questionados, não houve diferenças estatisticamente significativas entre motoristas que deixariam jovens brancos ou negros embarcarem sem pagar.

Obviamente, há fatores culturais envolvidos nesse tipo de comportamento de leitura de fenótipo (cor ou “raça”), no sentido em que poderiam haver diferenças entre os resultados obtidos na Austrália, ou se o estudo fosse conduzido nos Estados Unidos ou Brasil, por exemplo. Porém, é interessante para pensar sobre as questões raciais, em especial a partir do enfoque de “benefícios discriminatórios”.
Como Ayres conclui, esse tipo de privilégio é difícil de ser erradicado, mas essencial de ser compreendido.

Link para acesso ao artigo de Ian Ayres: http://www.nytimes.com/2015/02/24/opinion/research-shows-white-privilege-is-real.html?_r=0

Publicado em

Compartilhando experiências

Iniciamos 2015 e a comunidade internacional de avaliadores nos convida a refletir sobre a importância da avaliação e compartilhar nossas experiências como avaliadores.  O movimento “2015 – Ano Internacional da Avaliação” tem sido promovido em âmbito nacional e internacional, explicitando as possíveis formas de contribuição.

 

Entre as recomendações, levanta-se a necessidade de difundirmos nosso conhecimento e experiências em avaliação, estejam elas relacionadas à aplicação dos diferentes métodos de pesquisa, às ferramentas de análise de dados, à sua comunicação ou até mesmo ao processo de levantamento das informações.

De fato, dividir nossas experiências é de grande valor para os avaliadores. Além de ser reconfortante, pois que lidamos diariamente com grandes desafios comuns, a prática contribui para o aprimoramento dessa nossa tão complexa função. Por isso, listamos abaixo algumas iniciativas de troca de experiências, de compartilhamento de material didático e de estudos de caso, onde é possível participar de cursos, palestras e encontrar oportunidades de trabalho, entre outras possibilidades do mundo virtual dos avaliadores.

No Brasil ainda há poucos espaços virtuais de trocas sobre avaliação. A grande aglutinadora desses interesses tem sido a Rede Brasileira de Monitoramento e Avaliação que oferece para cadastrados um espaço de intercâmbio de experiências, oportunidades e divulgação cursos e materiais didáticos sobre avaliação. Outro espaço virtual de aprendizagem é oferecido pela página de avaliação econômica da Fundação Itaú Social, que disponibiliza uma plataforma com conteúdo reduzido do curso que oferecem anualmente para iniciantes na profissão.

Já no âmbito internacional, há muitas iniciativas desse tipo vinculadas especificamente à avaliação. Entre elas, destaco as que mais utilizo e recomendo:

1)     MyMande: Gerenciado pela UNICEF e IOCE (International Organization for Cooperation in Evaluation) o site apresenta-se como uma plataforma interativa para compartilhamento de conhecimentos relacionados a monitoramento e avaliação. Procura oferecer aprendizado e servir como meio para fortalecer a comunidade global de avaliação. Lá você encontra ferramentas de avaliação (guias de aplicação de avaliações em diferentes setores, exemplos de instrumentais, etc.), cursos e seminários online.

2)     BetterEvaluation: O site está voltado para disseminar o uso da avaliação, oferecendo guias com check-list de como planejar e executar uma avaliação, como decidir o melhor enfoque para sua avaliação, materiais diversos sobre avaliação (estudos de caso, textos de meta-avaliação, etc), orientações para realizar avaliações em áreas específicas, etc.

3)     O blog da American Evaluation Association: A Tip-a-Day by and for Evaluators, é um blog patrocinado pela AEA destinado a oferecer dicas de avaliadores e para avaliadores. No ar desde 2010, os posts do blog são bem variados e interessantíssimos. Lá é possível encontrar dicas valiosas e até mesmo contribuir enviando texto para aea365@eval.org.

4)     Blogs do Banco Mundial: Entre eles destaco o blog Development Impact criado por membros do Development Research Group do Banco Mundial. A finalidade é ser um fórum de discussão voltado às questões que surgem durante o desenvolvimento de avaliações de impacto: como conduzir, o que aprendemos com essas avaliações, como podemos melhorar nossa prática, etc.

5)     Outra forma de se familiarizar com os dilemas e soluções dos avaliadores é fazer parte das listas de discussão. Uma que diariamente gera grande volume de informações é a Pelican Initiative: https://dgroups.org/groups/pelican. A proposta é ser um canal de comunicação de profissionais que trabalham com transformações sociais, ajudando a aprender mais com o que fazemos e, ao mesmo tempo, ter o maior impacto possível sobre os processos de mudança social em que nos envolvemos.

Além dessas, há muitas outras formas de se familiarizar com o mundo da avaliação ou aprofundar nas peculiaridades do trabalho como avaliador. No blog da Plan vamos trazer ao longo de 2015 textos que reflitam o dia-a-dia do nosso trabalho, compartilhando conhecimentos acumulados, ferramentas e estudos casos, a fim de contribuir com movimento de fortalecimento e profissionalização da avaliação.

Publicado em

Cadastramento de famílias para projetos de urbanização e reassentamento: uma linha de base?

Como já escrevemos a respeito aqui no Blog, a Plan cadastrou domicílios em Santo André e São Bernardo do Campo, e o resultado foi uma grande “fotografia” das áreas de habitação de interesse social nesses municípios. As informações coletadas neste tipo de pesquisa incluem desde as estruturas das edificações, as infraestruturas públicas até dados para se traçar um perfil das famílias residentes, tais como renda individual e domiciliar, grau de escolaridade, faixa etária, cor/raça, situação ocupacional e ocupações, tempo de desemprego, população gestante, entre outras.

A prática do cadastramento é prevista em lei e deve ser feita antes da elaboração de quaisquer projetos de intervenção de melhorias urbanas ou mesmo de regularização da ocupação dos imóveis nessas áreas. É também uma maneira de tomar conhecimento das principais demandas de infraestrutura e carências sociais locais. Mas será que o cadastramento poderia ser utilizado, para além do projeto de intervenção, também como uma linha de base de avaliação?

Idealmente, uma avaliação recorre a uma linha de base (situação inicial dos indicadores) para medir os impactos dos projetos realizados. No caso do cadastramento, o instrumento utilizado permitia que o morador indicasse problemas, melhorias recentes e expectativas do projeto a ser implementado. Desta forma, e supondo que o cadastramento cumpra o papel da linha de base, o mesmo instrumento de pesquisa seria reaplicado à população residente a fim de contrastar carências percebidas e soluções implantadas.

Seria possível também, a partir das informações sobre o perfil das famílias, ver se houve impacto social e econômico do projeto?

Tomando o cadastramento por linha de base, uma maneira de mensurar este impacto seria avaliar, por exemplo, não só se a renda domiciliar aumentou, mas também se se tornou mais compatível com as despesas do domicílio alegadas pelo morador – uma vez que por vezes não o é. Além disso, nas áreas vulneráveis em que os cadastramentos são realizados há muitos casos de rendas secundárias como benefícios de distribuição de renda. Verificar a parcela da população em que esta renda é essencial ao orçamento domiciliar e fazer ainda cruzamentos sobre o índice e o tempo de desemprego e frequência escolar seriam outras possibilidades em uma avaliação.

A princípio, o cadastramento pode oferecer sim muitos elementos para que se comporte como linha de base, mas ainda há limitações. Há que se ponderar a ausência de um grupo de controle nesta pesquisa. O grupo de controle permitiria uma comparação entre uma parte dos cadastrados que estavam em área atingida pelo projeto e uma parte que não estava. Dado que o público que não será beneficiado pela intervenção urbana também não é cadastrado, não é possível comparação mencionada e medir, realmente, os impactos das ações realizadas; entretanto, como há obras que são realizadas em etapas, essa comparação poderia ser feita num ponto intermediário da execução.

Publicado em

O ano de 2014 na Plan

O ano que passou foi muito generoso com nossa empresa.

Primeiro, foi o ano de nossa internacionalização. Com representantes nos EUA e na Alemanha, avançamos na execução de avaliações da cooperação internacional, entre as quais se destaca o Projeto Coton-4 nos países produtores de algodão do leste do continente africano. A EMBRAPA (Empresa Brasileira de Pesquisa Agropecuária), juntamente com o Instituto Brasileiro do Algodão e a ABC (Agência Brasileira de Cooperação) levou conhecimento nacional para aprimorar as técnicas de cotonicultura no Mali, Burkina Faso, Chade e Benin. Esse projeto, que acaba de concluir sua primeira fase, está sendo avaliado por nós in loco. Nos seus 27 anos de existência, é a primeira vez que a ABC realiza uma avaliação externa de um projeto de cooperação técnica.

É também na agricultura que obtivemos outro marco internacional importante para a Plan, com uma pesquisa para determinar o perfil de risco de produtores rurais no Mato Grosso do qual participam professores de duas universidades estadunidenses e uma brasileira. “Perfil de risco” é como os economistas classificam o pendor de um agente econômico para decisões mais conservadoras ou mais arrojadas. No caso do Mato Grosso, procura-se entender em que circunstâncias o produtor rural converte uma área de pasto em lavoura, faz melhorias na pastagem, arrenda as terras para um agricultor ou pecuarista, ou ainda a mantém como está. Com a incessante expansão do consumo mundial de commodities agrícolas, e tendo o Brasil como seu principal produtor real e potencial, os pesquisadores procuram conhecer os determinantes da pressão da expansão do agronegócio sobre novas áreas agricultáveis. E também a partir disso projetar modelos para conter o avanço da fronteira agrícola sobre áreas de floresta.

Em 2014 aprimoramos nossos processos de coleta de informações para dar conta de pesquisas cada vez mais complexas como esta. Introduzimos questionários eletrônicos com grande sucesso. Os tablets permitem o acesso imediato aos dados produzidos, reduzem erros de preenchimento e ainda abrem possibilidades inéditas para a validação de dados qualitativos. Uma pergunta aberta é respondida diretamente a um gravador de voz embutido; locais de pesquisa são marcados por GPS para que se possa analisar padrões espaciais e validar endereços; fotos e vídeos enriquecem o conteúdo de análises sobre temas tão variados como a cultura material, a arquitetura, a vestimenta, sofisticando as possibilidades da avaliação holística, “quanti-quali” ou de métodos mistos. Avaliações já na origem desenhadas para a produção de uma grande gama de informações sempre existiram, mas o desafio era o de dar conta de organizar esse material para a produção de insights. Os meios eletrônicos de coleta facilitam enormemente esse trabalho.

Nesse campo dos grandes repositórios de dados, a Plan protagonizou a construção do banco de informações do SICG (Sistema Integrado de Conhecimento e Gestão) do IPHAN (Instituto do Patrimônio Histórico e Artístico Nacional). Muitos vão se surpreender ao saber que o Brasil não dispunha de um acesso público aos bens e manifestações artísticas protegidos pelo órgão máximo do patrimônio. Com o SICG, os cidadãos entram em contato com cada um deles por meio de fotos, vídeos, gravações, localização geográfica e históricos de tombamento. Uma ferramenta valiosa seja para o pesquisador acadêmico, seja para aqueles que pretendem conhecer melhor a riquíssima cultura do país numa viagem de férias.

Neste ano também nossa equipe permanente praticamente dobrou de tamanho, e ganhamos mais consultores associados em áreas temáticas como a saúde pública, educação e serviço social. No campo da criança e do adolescente, realizamos a linha de base de um projeto da ONG Plan International em convênio com a farmacêutica Nivea. As linhas de base são pesquisas da situação inicial de um público-alvo, e fundamentais tanto para a avaliação de impacto posterior como para a chamada avaliação formativa, que trata da adequação entre as ações tomadas por um projeto e os desafios a ele apresentados.

No campo do advocacy, reforçamos nossa relação com o Instituto Sou da Paz, sistematizando a experiência da Rede Justiça Criminal, que reúne organizações que defendem melhorias na execução penal no país e da qual o instituto faz parte. Também apresentamos nos congressos das sociedades europeia e estadunidense de avaliação os resultados de nosso aprendizado metodológico com outros trabalhos realizados nessa área para organizações da sociedade civil. O método de análise de redes que desenvolvemos na Plan para aplicação na avaliação de pequenas organizações foi premiado como melhor pôster no congresso anual da American Evaluation Society.

Destaco ainda nosso crescimento contínuo em trabalhos de monitoramento tradicionais, como o cadastramento e avaliação de programas habitacionais, que estão na origem da empresa, com três novos clientes de grande porte, e o trabalho de consultoria na Secretaria de Planejamento e Desenvolvimento Regional do Estado de São Paulo para o acompanhamento do OpR (Orçamento por Resultados). Esse projeto está por trás de uma das maiores mudanças na forma de atuação das burocracias públicas no Brasil, passando de um foco em programas e atribuições para a priorização da transformação social. Recursos são alocados preferencialmente para resultados e objetivos comprovadamente eficazes. Essa comprovação de eficácia se dá pelo monitoramento de indicadores que estejam relacionados com a transformação pretendida pelo órgão. A Plan vem assessorando o amadurecimento do OpR na Secretaria de Administração Penitenciária e, a partir de 2015, na Secretaria de Educação. É um trabalho quase invisível mas de grande potencial de melhoria na execução das políticas públicas.

Os méritos dessas conquistas estão com a equipe da Plan, qualificada, determinada e envolvida com cada um dos trabalhos que executa. Parabéns a todos.

Publicado em

Avaliação na Plan, 5 anos depois

Em 2008, quando a Plan éramos só eu e a Paula, competentíssima ajudante num projeto que introduzia a gestão por resultados na Prefeitura de São Paulo (então no hiato entre uma carreira na Bolsa de Mercadorias e Futuros e o que viria a ser seu encontro com a vocação de professora de letras no ensino médio), eu sonhava que em 2013 a gente tivesse algo parecido com atuação nacional. Imaginava que um bom indicador de sucesso da empresa seria ter ajudado na implantação de programas com beneficiários no Brasil todo, algo como ter um ministério como cliente ou sair a campo fazendo surveys com milhares de casos que seriam lidos por quem tinha poder de decidir.

Colunas em que a gente de vez em quando se apoia
No final deste mês terminaremos um projeto de caracterização em 18 cidades distribuídas por todas as regiões do país. São 18 consultores em campo e potencialmente centenas de milhares de beneficiados. Talvez, enfim, meu objetivo “quantitativo” de 2008 esteja sendo cumprido. Significa muito para todos aqui da Plan; será nosso rito de passagem para o mundo das consultorias “adultas”.

Mas essa não foi nossa conquista principal.

Lembro que, à época, em meio a assistentes sociais desconfiadas, arquitetos sobressaltados, sociólogos reticentes, pensava também que, se em 5 anos de empresa tivéssemos conseguido levar um pouco da racionalidade da avaliação para meios em que o discurso especulativo prevalecia, teríamos ali uma grande vitória. Refiro-me ao debate contínuo de inspiração canônico-teórica, crítico sem dúvida, e humanista no bom sentido de sensível às muitas dimensões da existência, mas estranhamente desconfiado da racionalidade explicativa.
Ora, esse objetivo (“qualitativo”, por assim dizer) alcançamos mais rapidamente do que prevíamos ao trabalhar convencendo as pessoas de que a objetividade não é inimiga da sensibilidade, da teoria, ou dos projetos de transformação. Ao enfatizar que o conhecimento que se apoia sobre a verificação não é apenas instrumental, mas iluminador.
(Verificação é um problema que na filosofia da ciência se traduz em: “como você sabe que o que está afirmando reflete a realidade?”. Descreva os conceitos que está a empregar. Fale sobre as ferramentas que utilizou para observá-los. Explicite seus indicadores, os casos colhidos, sua representatividade.)
Explique-nos, gestor da área social, o que ocorreu e convença-nos de que seu programa melhorou a vida das pessoas, como, quanto, quando.
As vezes em que vi olhares desconfiados do “positivismo” se abrirem aos poucos às  possibilidades transformadoras do saber positivo no decorrer de um projeto foram as mais gratificantes, sem dúvida. Ali sentidos fundamentais da avaliação de programas sociais foram compreendidos: mudar a vida das pessoas para melhor, fazer mais com menos, fazer direito. Todo método decorre daí. Não importa se “quali” ou “quanti”, desde que traga respostas as mais verdadeiras possíveis para as perguntas certas. E perguntas certas são aquelas que têm nexo com a transformação pretendida.
E, não menos importante, me dou conta de que a Paula, super racional ex-gestora corporativa hoje professora de francês, e os demais profissionais que trabalharam aqui desde então, têm em comum essa virtude de buscar objetivamente as possibilidades humanas do desenvolvimento social, o que define em grande medida a Plan como instituição.

<https://plus.google.com/+FabrizioRigout”rel=author”>