Sobre avaliação e política

Tenho visto ressurgir discussões sobre o caráter político da avaliação que, tão rapidamente quanto aparecem, se cristalizam em tomadas de posição antagônicas (quali x quanti; medição x interpretação; neutralidade x interesse) bem mais antigas que a profissão. Entendo que por esse caminho não chegaremos à compreensão de como os avaliadores podem contribuir para qualificar a política em si.

O debate ponderado sobre o mérito de políticas públicas segue sendo um dos alicerces da democracia pois traz maior racionalidade ao processo decisório dos governos, permitindo assim a formação de consensos programáticos. Ironicamente, foi empobrecido nas últimas décadas justamente quando o avanço tecnológico deveria promover a ampliação da participação e, por conseguinte, seu enriquecimento. Por quê?

Num ambiente de parti pris, o conhecimento construído de forma criteriosa e sistemática sobre os problemas sociais não elege governo. Atestado disso é o sucesso dos neopopulistas à direita e à esquerda que apostaram num discurso de senso comum, ou seja, numa verdade que parece plausível ante a experiência das pessoas, sem que necessariamente explique a realidade. Essa verdade que busca ser mais intuitiva do que propriamente veraz é o que se convencionou chamar de “narrativa”.

No âmbito da avaliação, em defesa da narrativa chega-se mesmo a afirmar que não há produção de conhecimento que não seja política. Nesta visão, todo saber seria refém de interesses. Direciona-se então a análise às relações de poder: “a quem serve” determinada sociologia, estatística, economia… sem entrar no tema de sua qualidade como saber. O estudo foi criticado por pares? Pode ser replicado? As informações estão disponíveis? Quais as fontes da informação? Há interpretações concorrentes mais plausíveis? São questões em segundo plano.

Esse reducionismo construtivista se harmoniza com a política contemporânea pois ambos tendem a desprezar a objetividade do conhecimento. O primeiro por razões epistemológicas e a segunda por conveniência, mas isso é secundário ante a consequência: a erosão progressiva da base de conhecimento comum na esfera pública. Tudo se disputa na base do princípio. Temas fundamentais para o desenvolvimento como a desigualdade, a pobreza, a inovação tecnológica, a educação, as relações trabalhistas, a boa gestão das finanças públicas, são apresentados em função de sua relação com soluções ideológicas existentes em vez de serem tratados como problemas de fundo para os quais há soluções melhores e piores, além das que ainda não conhecemos e que provavelmente serão as melhores.

O resultado mais visível desse processo é um debate travado a partir de uma crítica da perspectiva dos sujeitos decisórios, seu caráter, sua afiliação, sua personalidade, em detrimento de uma discussão franca sobre a complexidade dos objetos em questão. Outros são o enfraquecimento do aconselhamento técnico nos gabinetes do executivo em favor da publicidade, a instrumentalização dos meios de comunicação pela política, a hipertrofia do discurso emocional e do moralismo.

Um exemplo de como a avaliação pode contribuir mais para o debate político a partir de uma investigação objetiva é o caso da evolução dos programas de transferência de renda condicionada (PTRC). Após sucessivos estudos de efetividade utilizando abordagens nos mais variados formatos (“quânti”, “quáli”, “mista”, etc.), demonstrou-se que os PTRCs têm efeitos comprovados de redução da pobreza no curto prazo. No Brasil, o Bolsa Família foi um sucesso retumbante nesse aspecto. Demonstrou-se, entretanto, que o Bolsa Família não é tão eficaz para quebrar o ciclo de pobreza, pois prioriza sua dimensão monetária e deixa de lado os mecanismos de promoção da autonomia. Nisso o programa chileno Puente foi mais bem-sucedido, pois focalizou na promoção de condições necessárias para a “porta de saída”, com grande ênfase no fortalecimento dos laços familiares, sociais, acesso prioritário a serviços e principalmente o acompanhamento de um assistente social em visitas periódicas de orientação e encaminhamento.

Programas anti-pobreza são criados quando há a pressão política organizada por grupos que perdem com ela, a começar pelos próprios pobres, seja por meio do voto ou pelo engajamento em movimentos sociais. Porém, o que permite seu aperfeiçoamento é a investigação diligente de alternativas à luz do problema em questão. No plano mundial, evoluiu-se de uma visão de pobreza monetária para uma de pobreza multidimensional graças à avaliação de políticas públicas. No Brasil parece se estar alguns passos atrás. Um dos temas centrais da última campanha eleitoral, o mérito do Bolsa Família, foi tratado quase que exclusivamente em termos de ser a favor ou contra; ou seja, não foi tratado.

O avaliador tem portanto um papel central, tanto tecnocrático como pedagógico, de levar ao público a necessidade de se pensar programas em termos de efetividade, eficiência, impacto e focalização. Certamente a vasta maioria do eleitorado desconhece esses conceitos, que de complexos não têm nada, só são deixados de lado. Temos um longo caminho pela frente.

Publicado originalmente em https://goo.gl/WzaxjN

Análise Qualitativa Comparada na Avaliação

Resultado de imagem para shape-sort blocks

Em texto anterior, falei sobre a técnica de análise qualitativa comparada (QCA) como alternativa à estatística para a inferência causal. Ressaltei que a QCA exibe uma vantagem de ordem prática em relação a esta, permitindo o trabalho com bases de dados reduzidas, e outra vantagem da ordem da sofisticação explicativa, ao possibilitar que o pesquisador se debruce sobre as diversas combinações de causas e efeitos observados.

Especificamente na avaliação voltada à melhoria de intervenções, a QCA ilustra bem quais configurações de condições estão associadas a determinados resultados. Na prática, é necessário atentar para as condições suficientes, configurações que estão sempre associadas a esse resultado (ou sua ausência); e ainda para as condições necessárias, configurações que estão presentes sempre que se observa um determinado resultado (ou sua ausência). Frequentemente ambas são do interesse do pesquisador.

É possível fazer a QCA pela simples observação das combinações que se aplicam a cada caso? Quando as categorias de análise (condições) são poucas, sim.  Não é difícil visualizar as combinações de 2 ou 3 atributos em tabelas correspondentes aos cenários de suficiência/necessidade presença/ausência do resultado. Mas note-se que para cada condição acrescentada, o número de combinações possíveis aumenta exponencialmente  (2x casos para x condições). Com apenas 6 condições, portanto, já temos 64 combinações possíveis. Daí a necessidade de softwares específicos que deem conta de processar esses cenários complexos.

Os softwares de QCA (como este e este) automatizam o processo de identificação de inconsistências e contradições. Haverá configurações em que tanto a presença como a ausência de uma condição são necessárias para um resultado. Esses casos são logicamente inconsistentes. Haverá ainda muitas configurações logicamente possíveis mas que não estão contempladas por casos no banco estudado. Ou mesmo 2 casos de configurações idênticas porém contraditórias, que estão associadas ao mesmo tempo a um resultado e à sua ausência.

Um ponto a se destacar na análise de configurações é a possibilidade de se identificar mais de um caminho para chegar ao mesmo resultado. E isso não quer dizer que todas as configurações sejam igualmente eficazes. Neste momento a bagagem teórica do pesquisador faz diferença. Há que se interpretar a história por trás dos diferentes arranjos observados para se entender porque funcionam. Em suma, é preciso uma hipótese explicativa baseada em teoria, como de resto em qualquer generalização a partir de dados empíricos.

Mas por que se utilizar o QCA em vez de um modelo de regressão, onde variáveis podem ser acrescentadas infinitamente e seu poder explicativo determinado?

Entendo que um diferencial positivo do QCA é chamar a atenção para cenários que não tinham sido antecipados e que não teriam sido testados em outros modelos. Na gestão de projetos isso representa um estímulo ao pensamento fora da caixa: Que variáveis estão presentes num caso bem-sucedido que a teoria da mudança não previu? Que condições precisam ser minimamente satisfeitas para que esse “case” ganhe escala?

Essas são perguntas respondidas com mais acurácia pelo QCA do que pelas abordagens qualitativas mais simples em função da possibilidade que o método oferece de indicar caminhos de causalidade. Mais ainda, a iteração entre a análise de conteúdo e a qualitativa comparada é um procedimento que dá poder explicativo a estudos interpretativos, aumentando a plausibilidade do argumento avaliativo.

Para alguns exemplos do uso do QCA na avaliação, veja esta revisão crítica publicada no American Journal of Evaluation.

 

Análise qualitativa comparada (QCA)

 

É comum construirmos hipóteses a partir de uma combinação de qualidades que associamos a um certo efeito. Baseados em algumas observações nos vemos montando listas mentais de atributos cuja existência parece estar sempre atrelada à ocorrência de algo. Podemos pensar que sempre que uma galinha chocar seus ovos nascerão pintinhos, desde que haja um galo no galinheiro. Essa configuração parece ser suficiente para a eclosão do ovo, até que comecemos a reparar que na verdade há outros fatores que interferem na probabilidade de um pintinho nascer, como a temperatura e a umidade. Então podemos considerar que, apesar de necessárias, pois ocorrem toda vez que nasce um pintinho, essas condições não são suficientes para que o nascimento ocorra… e assim,  vamos refinando nossa teoria a partir da observação, incluindo alguns requisitos e retirando outros.

Na pesquisa social a análise de configurações é um procedimento comumente adotado em estudos em que o resultado é conhecido e existe uma variação de causas prováveis dentro de um universo relativamente pequeno. Em certas análises históricas comparadas o pesquisador tem a seu dispor algumas categorias (“atributos”) comuns a muitas sociedades, sendo que algumas combinações desses atributos parecem estar ligadas a tipos semelhantes de regimes políticos, sistemas de seguridade social, níveis de desenvolvimento econômico, formas de associativismo, etc.

Max Weber famosamente lançou mão desse expediente ao tentar identificar as relações possíveis entre crenças religiosas e a predisposição ao trabalho, tendo observado que entre algumas seitas protestantes havia uma conduta claramente mais sistemática. O sociólogo alemão construiu sua hipótese tipificando as grandes religiões do mundo de acordo com poucas categorias: sua visão do sentido da vida (realização nela versus busca de salvação), sua relação com o mundo (de evitá-lo ou de encará-lo) e sua doutrina de conduta (ascética ou contemplativa). As que combinavam busca de salvação com uma disposição a encarar o mundo de forma ascética foram as que resultaram numa inclinação maior para o trabalho sistemático e busca da dominação do meio.[1]

Nas avaliações nos deparamos com situações em que os casos não são suficientemente numerosos para que se possa comprovar associações entre ocorrências por meios estatísticos, seja por limitações de ordem prática (os dados foram colhidos numa amostra muito restrita) ou porque realmente as intervenções foram limitadas, integraram um piloto, tiveram um número de beneficiários reduzido ou porque a população em si já era pequena.

Tomemos como exemplo o caso do mapeamento de partes interessadas (“stakeholders”) para avaliação dos impactos do investimento social empresarial. Para esses estudos são entrevistados membros de associações, do governo, funcionários da empresa, suas famílias, fornecedores e mais alguns outros, e o número possível de tipos distintos de atores raramente ultrapassa o que cabe nos dedos das mãos. Quão útil para a modelagem de projetos de investimento social não seria entender quais as combinações ideais de características que esses atores deveriam ter para que se maximize o valor social gerado? Basta lembrar que as análises quantitativas feitas nesse campo costumam se restringir a escalas de interesse e poder, categorias restritivas quando se pensa na multiplicidade de determinantes de um engajamento bem-sucedido.

Em circunstâncias assim a análise qualitativa comparada (QCA, em sua sigla em inglês) tem uma contribuição importante a dar à avaliação. Essa técnica permite identificar as combinações de atributos que se mostram suficientes para um determinado resultado. No caso da referida análise de stakeholders, se observarmos que entre diversas instituições parceiras, as que prestavam contas regularmente, possuíam um líder eleito, se reuniam mensalmente com a empresa e tinham histórico de captação autônoma de recursos, foram também as que geraram mais valor compartilhado, essa combinação de características deve ser buscada em parcerias futuras que tenham o mesmo objetivo de transformação.

Desde sua introdução nos anos 1980, a QCA vem ampliando as possibilidades da pesquisa qualitativa permitindo sua conjugação a modelos explicativos. Abordagens qualitativas-interpretativas são criticadas por sua limitada possibilidade de generalização, e a QCA busca superar essa crítica por meio da caracterização explícita dos critérios utilizados nas comparações. Uma outra vantagem importante da técnica é sua comunicabilidade. Por se basear em teoria dos conjuntos, seus fundamentos são de compreensão fácil para o público em geral, o que nem sempre é o caso com a estatística usada nas abordagens quantitativas.

A QCA vai muito além da análise de suficiência de configurações. No próximo post falarei um pouco sobre a grande versatilidade do método e suas etapas de aplicação.

[1] WEBER, Max. A ética protestante e o “espírito” do capitalismo. São Paulo: Companhia das Letras, 2004.

Reconhecimento

Na Plan temos como princípio que a prática da pesquisa faz com que os nossos consultores estejam mais preparados também para a reflexão teórica. Isso porque quem vai a campo tem a oportunidade de testar suas hipóteses, confrontando-as com a realidade vivida pelas pessoas, realidade que refuta, afirma e estimula com uma veemência que o argumento e o contraditório, no plano das ideias, não alcançam. Nestes tempos de juízos baseados em informação de segunda mão alimentados pela hipercirculação das ideias na internet, é tentador se engajar no debate a partir de pontos de vista autorizados por outros, sem que nos demos conta que algumas vezes as autoridades também apoiam suas teses em informações colhidas precariamente.

Como sempre –mas mais ainda hoje porque as notas metodológicas somem nos rodapés do desinteresse e da falta de tempo do público– o teste empírico é indispensável para que o conhecimento sobre a realidade social qualifique o discurso. Para o avaliador essa missão é crítica pois suas conclusões informarão, além da teoria sobre como fazer programas e projetos melhores, a execução de políticas que afetarão a vida das pessoas.

Por isso fiquei muito orgulhoso com o reconhecimento que grandes instituições produtoras de saber deram a quatro membros de nosso escritório este ano. Uma delas, Rafaela Antoniazzi, foi aceita no programa de doutoramento em economia da Fundação Getúlio Vargas. Seus posts neste blog dão conta de como sua perspectiva evoluiu como resultado da imersão na realidade das escolas, empresas, agricultores, ONGs, governos e tantos outros atores que teve a oportunidade de entrevistar nesses anos de Plan, abrindo sua perspectiva sobre as possibilidades dos métodos mistos de pesquisa.

Cristiana Martin e Peter Smith, que outro dia mesmo, cientistas sociais recém-saídos da faculdade, tiveram na Plan uma porta de acolhimento no mundo profissional, ingressaram ambos no programa de mestrado em sociologia da Universidade de São Paulo. Os dois têm abraçado desafios como investigar a realidade vivida pelas pessoas da zona rural do Maranhão, dos bairros pobres do ABC paulista, dos vilarejos do extremo norte do Amapá, de territórios marcados por problemas sociais seriíssimos como a exploração de crianças e o tráfico de pessoas, entre tantas outras viagens a campo. Esses mesmos jovens sociólogos aprenderam, pelo calejamento da prática, a ter a segurança necessária para entrevistar também pessoas em posição de poder nas inúmeras avaliações institucionais que a Plan faz.

Por fim, e não menos entusiasmante, a ex-advogada Veridiana Mansour, que se fez avaliadora neste escritório após concluir um mestrado de transição de carreira, foi contratada pela FAO – Organização das Nações Unidas para a Alimentação e a Agricultura, em seu centro mundial de avaliação, em Roma. Uma notícia agridoce pela falta que nos faz, mas que mais que tudo corrobora sua incrível dedicação ao trabalho de pesquisa.

Parabéns a eles e a toda a equipe da Plan, e um 2017 de mais prática e mais reflexão para todos nós. Se tiver que amassar barro, nós amassamos, como a Cris e a Rafa aí na foto.

Podemos avaliar o “impacto social” das empresas?


O imperativo da utilidade rege a tomada de decisão numa empresa. No momento de se escolher entre uma ação e outra, deve prevalecer aquela que traga mais benefícios para o mesmo montante de investimento. O retorno pode não ser apenas financeiro, como ocorre no caso dos projetos sociais, mas tem de ser de alguma forma útil: “valeu o esforço?” Seja como for, a utilidade do investimento tanto no negócio quanto na ação social das corporações é habitualmente demonstrada por meio de indicadores de desempenho.

Recentemente o debate sobre o desempenho de uma empresa em suas relações com a sociedade vem se deslocando da perspectiva de responsabilidade social para a de impacto social.

No primeiro caso, discutia-se o que a empresa deve ou pode fazer pela sociedade além de cumprir suas funções tradicionais que são criar empregos e recolher impostos, gerando riqueza acumulada nesse processo. Uma empresa socialmente responsável seria então aquela que se engaja ativamente com a sociedade contribuindo para a solução de problemas extra-negócio, como a pobreza, a baixa escolaridade, a desinformação, o acesso precário à saúde, à cultura, etc. Os temas podem ter relação com o negócio e até contribuir para seu funcionamento, mas não são essenciais a ele.

No segundo caso, o de impacto social, a perspectiva é muito mais ampla. Impõe pensar em todos os efeitos, diretos e indiretos, positivos e negativos, que as operações da empresa geram sobre a sociedade; em muitos casos se inclui aí também a cadeia de fornecedores. Essa abordagem deriva de um amadurecimento da atuação pública das corporações, que vêm lidando com uma sociedade cada vez mais educada e consciente de seus direitos, com acesso instantâneo e irrestrito a informação e portanto mais atenta à origem e às formas de produção dos artigos que consome.

Por mais sofisticadas, sistemáticas e amplas que sejam as ações de responsabilidade social de uma empresa, hoje sua atuação é passível de contestação pelo próprio risco que o negócio enseja. Pode derivar da conduta imprópria de um fornecedor pela qual a corporação seja responsabilizada solidariamente; por danos ambientais não totalmente mitigáveis; pela associação de sua marca com práticas trabalhistas aceitáveis em um país produtor mas vistas como opressivas num país consumidor; ou ainda de pressões do poder público para que ela exerça funções que não são suas, mas que aquele não consegue ou não quer fazer; entre outras.

Ora, ao passo que no caso da responsabilidade social temos um conceito razoavelmente bem definido a ser observado  —ações sociais criadas pela empresa fora do âmbito natural de seu negócio—e que se concretizam na forma de intervenções, com objetivos explícitos e marcos temporais, no impacto social a definição do que está para ser medido é tão ampla e multicausal que escapa a uma conceituação precisa.

Assim, não é surpresa que, na prática, a mensuração do impacto social exija recortes temáticos —direitos humanos, engajamento com a comunidade, práticas trabalhistas, sustentabilidade ambiental, relações com governo— com seus respectivos indicadores de desempenho. Isso é coerente com a abordagem utilitária de se medir aquilo que pode trazer retorno, positivo ou negativo, em relação ao que a empresa investe ou gasta, nesse caso em sua operação. Mas como temos uma infinidade de recortes possíveis, abrangendo problemas de disciplinas que vão da economia à sociologia à história, o resultado é a desorientação: temos de medir todos os impactos que nosso negócio causa na sociedade, da matéria-prima ao pós-venda? Como fazê-lo? Quais os critérios de relevância ou “materialidade”?

 

Como reação a essa incerteza, o instinto dos analistas que reportam sobre o impacto social das operações é de recorrer a conjuntos de indicadores sacramentados por autoridades no assunto. Entretanto, por mais úteis que sejam os relatórios sociais e os índices de sustentabilidade para a identificação e a retificação de prejuízos sociais causados por uma empresa, não há garantia de que todos os indicadores sejam relevantes para o seu negócio nem de que aqueles que são críticos do ponto de vista da utilidade estejam contemplados.

Outro fator de insegurança deriva do fato de ainda não ter sido desenvolvida uma forma abrangente de se avaliar o impacto social das empresas. Se no caso da responsabilidade social temos projetos cuja efetividade pode ser mensurada por comparação antes/depois e entre participantes/não participantes, no caso do impacto social das operações é muito mais difícil determinar o que é causa e o que é consequência do negócio em cada uma das dimensões estudadas.

Daí que a solução até o momento mais razoável do ponto de vista da praticidade e do custo seja continuar monitorando desempenho em vez de avaliar o impacto, o que, ademais, é incentivado pelo efeito-rotina (todos os anos se colhe os mesmos indicadores, os processos se normalizam, e ficam mais confiáveis) e também pela segurança reputacional que advém das certificações como as do GRI – Global Reporting Initiative.

Esse problema não é simples, mas soluções têm surgido. Uma alternativa promissora é segmentar o tema em setores de atividade econômica para se identificar efeitos sociais comuns a eles, e a partir desses, construir conceitos replicáveis de impacto social. Outro caminho explorado tem sido o de utilizar dados de monitoramento para se planejar ações corretivas, que por sua vez são avaliadas; por exemplo, o efeito da certificação de fornecedores sobre o bem-estar dos trabalhadores. Ou ainda mensurar ações pontuais que têm repercussões amplas, como o impacto da criação de conselhos comunitários sobre a qualidade da relação com a população local.

As práticas incipientes de mensuração de impacto social das empresas apontam na direção da combinação de abordagens existentes de avaliação. O desafio continua sendo o de se encontrar formas de se replicar essas avaliações. Para tanto, é preciso uma teoria mais robusta sobre como esse impacto se dá e quais as suas componentes causais mais relevantes.

O ano de 2014 na Plan

O ano que passou foi muito generoso com nossa empresa.

Primeiro, foi o ano de nossa internacionalização. Com representantes nos EUA e na Alemanha, avançamos na execução de avaliações da cooperação internacional, entre as quais se destaca o Projeto Coton-4 nos países produtores de algodão do leste do continente africano. A EMBRAPA (Empresa Brasileira de Pesquisa Agropecuária), juntamente com o Instituto Brasileiro do Algodão e a ABC (Agência Brasileira de Cooperação) levou conhecimento nacional para aprimorar as técnicas de cotonicultura no Mali, Burkina Faso, Chade e Benin. Esse projeto, que acaba de concluir sua primeira fase, está sendo avaliado por nós in loco. Nos seus 27 anos de existência, é a primeira vez que a ABC realiza uma avaliação externa de um projeto de cooperação técnica.

É também na agricultura que obtivemos outro marco internacional importante para a Plan, com uma pesquisa para determinar o perfil de risco de produtores rurais no Mato Grosso do qual participam professores de duas universidades estadunidenses e uma brasileira. “Perfil de risco” é como os economistas classificam o pendor de um agente econômico para decisões mais conservadoras ou mais arrojadas. No caso do Mato Grosso, procura-se entender em que circunstâncias o produtor rural converte uma área de pasto em lavoura, faz melhorias na pastagem, arrenda as terras para um agricultor ou pecuarista, ou ainda a mantém como está. Com a incessante expansão do consumo mundial de commodities agrícolas, e tendo o Brasil como seu principal produtor real e potencial, os pesquisadores procuram conhecer os determinantes da pressão da expansão do agronegócio sobre novas áreas agricultáveis. E também a partir disso projetar modelos para conter o avanço da fronteira agrícola sobre áreas de floresta.

Em 2014 aprimoramos nossos processos de coleta de informações para dar conta de pesquisas cada vez mais complexas como esta. Introduzimos questionários eletrônicos com grande sucesso. Os tablets permitem o acesso imediato aos dados produzidos, reduzem erros de preenchimento e ainda abrem possibilidades inéditas para a validação de dados qualitativos. Uma pergunta aberta é respondida diretamente a um gravador de voz embutido; locais de pesquisa são marcados por GPS para que se possa analisar padrões espaciais e validar endereços; fotos e vídeos enriquecem o conteúdo de análises sobre temas tão variados como a cultura material, a arquitetura, a vestimenta, sofisticando as possibilidades da avaliação holística, “quanti-quali” ou de métodos mistos. Avaliações já na origem desenhadas para a produção de uma grande gama de informações sempre existiram, mas o desafio era o de dar conta de organizar esse material para a produção de insights. Os meios eletrônicos de coleta facilitam enormemente esse trabalho.

Nesse campo dos grandes repositórios de dados, a Plan protagonizou a construção do banco de informações do SICG (Sistema Integrado de Conhecimento e Gestão) do IPHAN (Instituto do Patrimônio Histórico e Artístico Nacional). Muitos vão se surpreender ao saber que o Brasil não dispunha de um acesso público aos bens e manifestações artísticas protegidos pelo órgão máximo do patrimônio. Com o SICG, os cidadãos entram em contato com cada um deles por meio de fotos, vídeos, gravações, localização geográfica e históricos de tombamento. Uma ferramenta valiosa seja para o pesquisador acadêmico, seja para aqueles que pretendem conhecer melhor a riquíssima cultura do país numa viagem de férias.

Neste ano também nossa equipe permanente praticamente dobrou de tamanho, e ganhamos mais consultores associados em áreas temáticas como a saúde pública, educação e serviço social. No campo da criança e do adolescente, realizamos a linha de base de um projeto da ONG Plan International em convênio com a farmacêutica Nivea. As linhas de base são pesquisas da situação inicial de um público-alvo, e fundamentais tanto para a avaliação de impacto posterior como para a chamada avaliação formativa, que trata da adequação entre as ações tomadas por um projeto e os desafios a ele apresentados.

No campo do advocacy, reforçamos nossa relação com o Instituto Sou da Paz, sistematizando a experiência da Rede Justiça Criminal, que reúne organizações que defendem melhorias na execução penal no país e da qual o instituto faz parte. Também apresentamos nos congressos das sociedades europeia e estadunidense de avaliação os resultados de nosso aprendizado metodológico com outros trabalhos realizados nessa área para organizações da sociedade civil. O método de análise de redes que desenvolvemos na Plan para aplicação na avaliação de pequenas organizações foi premiado como melhor pôster no congresso anual da American Evaluation Society.

Destaco ainda nosso crescimento contínuo em trabalhos de monitoramento tradicionais, como o cadastramento e avaliação de programas habitacionais, que estão na origem da empresa, com três novos clientes de grande porte, e o trabalho de consultoria na Secretaria de Planejamento e Desenvolvimento Regional do Estado de São Paulo para o acompanhamento do OpR (Orçamento por Resultados). Esse projeto está por trás de uma das maiores mudanças na forma de atuação das burocracias públicas no Brasil, passando de um foco em programas e atribuições para a priorização da transformação social. Recursos são alocados preferencialmente para resultados e objetivos comprovadamente eficazes. Essa comprovação de eficácia se dá pelo monitoramento de indicadores que estejam relacionados com a transformação pretendida pelo órgão. A Plan vem assessorando o amadurecimento do OpR na Secretaria de Administração Penitenciária e, a partir de 2015, na Secretaria de Educação. É um trabalho quase invisível mas de grande potencial de melhoria na execução das políticas públicas.

Os méritos dessas conquistas estão com a equipe da Plan, qualificada, determinada e envolvida com cada um dos trabalhos que executa. Parabéns a todos.

Reflexões a 25 mil pés de altitude

Em abril passado cedemos um de nossos avaliadores a uma fundação norte-americana. Recebemos ontem este bilhetinho enviado por ele numa garrafa que nos chegou boiando pelo Atlântico:

Voar sempre me faz refletir. Há algum tempo voava por majestosas nuvens de tempestade entre São Paulo e Boston, voltando para casa, ruminando sobre a empresa que acabava de deixar. Sem mergulhar nos detalhes dos meus pensamentos, tentei escavar as origens comuns das experiências que passei entre meus colegas da Plan.
You'll get there

A Plan parece ser uma entre um punhado de instituições brasileiras que exclusivamente se dedicam ao monitoramento e à avaliação. Além disso, a Plan avidamente solicita trabalho de uma diversidade de clientes. O perfil variado dos clientes requer mais do que uma estratégia inteligente: cria um ambiente de projetos forçosamente artesanais e personalizados.

O que me impressionou e ainda me impresiona sobre meus colegas foi que, em um ambiente avesso ao risco e à incerteza, não cederam ao reflexo comum de se simplificar e especializar. Enquanto estava lá, nem estreitaram seu campo de clientes, nem se restringiram a um conjunto definido de métodos independentes da natureza do projeto.
Com um esforço incansável, evitavam se considerar especialistas oniscientes que chegam para resolver definitivamente os problemas dos outros. Ao contrário, se desafiaram a aprender, a considerar profundamente cada situação e evoluir ao lado de cada projeto. Enquanto projetavam uma imagem de solidez profissional, internamente conservaram um ambiente honesto, aberto e flexível que encorajava a experimentação e aceitava os riscos inerentes a isso, assim protegendo a chama delicada da inovação e da criatividade.

O que a Plan faz não se traduz fluidamente para um folder promocional ou para um desses sites desses de consultoria cheio de palavras-chave (“synergistic innovation in evaluative practice for a complex global community”…blá,blá,blá). Mas é essa a recusa do caminho fácil, a dedicação invisível desta empresa (além das capacidades incríveis dos indivíduos), que faz da Plan uma equipe formidável.

Não posso imaginar um grupo com o qual me orgulharia mais de ter trabalhado.

Sinceramente,
Will

Conquistas em 2013

Dois mil e treze foi de importantes realizações para a Plan. Fechamos o ano com o melhor resultado desde nossa fundação em 2007. Destaco a realização de duas avaliações complexas envolvendo programas verdadeiramente transnacionais, com parceiros baseados em 37 países. Estamos satisfeitos por termos feito a diferença na vida de um número grande de pessoas, em particular por intermédio de avaliações na área de direitos humanos.

O foco na avaliação de programas de advocacy (a defesa de causas nos organismos decisórios como governos, legislaturas e organizações multilaterais), fez com que a Plan aperfeiçoasse os métodos de atuação nessa área. Apresentamos um trabalho sobre o assunto no Seminário da Rede Brasileira de Monitoramento e Avaliação, assinado pelo consultor William Faulkner.

Destaco também nossa evolução nas pesquisas de campo com questionários padronizados (surveys). Em 2013 estivemos em dois terços dos estados brasileiros. Fizemos ainda sondagens por telefone para empresas e governos, sob coordenação do consultor João Martinho.

O ponto alto de nossa atuação de campo aconteceu em outubro. Aplicamos uma complexa pesquisa domiciliar em comunidades beneficiadas por obras de urbanização no Espírito Santo, envolvendo 1.800 famílias. A capacidade de coordenação de nossa gerente de avaliação Camila Cirillo e o apoio de nossa estagiária Ana Paula Simioni foram essenciais para o sucesso dessa pesquisa.

A ferramenta de mapeamento de indicadores locais foi outro marco de nossa trajetória em 2013. Esse software permite a governos e empresas priorizar suas políticas sociais por meio da identificação de carências de populações específicas em sua área de atuação. Para o seu desenvolvimento, contamos com a inventividade de Mauro Zackiewicz na produção de uma interface gráfica original.

Nenhuma dessas realizações teria sido possível sem o apoio de centenas de pesquisadores de campo e consultores associados, aos quais mais uma vez agradecemos.

Em 2014 seguiremos apostando no crescente mercado da avaliação de programas, contribuindo para o aperfeiçoamento da gestão pública e da participação social.

Pesquisador, envie seu artigo

O Seminário da Rede Brasileira de Monitoramento e Avaliação (RBMA) é um evento anual onde se encontram os profissionais do setor no Brasil e os contratantes de avaliação dos setores público e privado. É uma excelente oportunidade de discussão dos resultados de pesquisas aplicadas. Ainda avaliamos pouco e falamos muito sobre avaliação. Então, se o seu trabalho de alguma forma analisa o desempenho de programas e projetos, faça de tudo para mandar seu artigo. A chamada foi prorrogada duas vezes –sinal de que você é muito bem-vindo. Envie sua proposta aqui até dia 24 de maio.

Avaliação na Plan, 5 anos depois

Em 2008, quando a Plan éramos só eu e a Paula, competentíssima ajudante num projeto que introduzia a gestão por resultados na Prefeitura de São Paulo (então no hiato entre uma carreira na Bolsa de Mercadorias e Futuros e o que viria a ser seu encontro com a vocação de professora de letras no ensino médio), eu sonhava que em 2013 a gente tivesse algo parecido com atuação nacional. Imaginava que um bom indicador de sucesso da empresa seria ter ajudado na implantação de programas com beneficiários no Brasil todo, algo como ter um ministério como cliente ou sair a campo fazendo surveys com milhares de casos que seriam lidos por quem tinha poder de decidir.

Colunas em que a gente de vez em quando se apoia
No final deste mês terminaremos um projeto de caracterização em 18 cidades distribuídas por todas as regiões do país. São 18 consultores em campo e potencialmente centenas de milhares de beneficiados. Talvez, enfim, meu objetivo “quantitativo” de 2008 esteja sendo cumprido. Significa muito para todos aqui da Plan; será nosso rito de passagem para o mundo das consultorias “adultas”.

Mas essa não foi nossa conquista principal.

Lembro que, à época, em meio a assistentes sociais desconfiadas, arquitetos sobressaltados, sociólogos reticentes, pensava também que, se em 5 anos de empresa tivéssemos conseguido levar um pouco da racionalidade da avaliação para meios em que o discurso especulativo prevalecia, teríamos ali uma grande vitória. Refiro-me ao debate contínuo de inspiração canônico-teórica, crítico sem dúvida, e humanista no bom sentido de sensível às muitas dimensões da existência, mas estranhamente desconfiado da racionalidade explicativa.
Ora, esse objetivo (“qualitativo”, por assim dizer) alcançamos mais rapidamente do que prevíamos ao trabalhar convencendo as pessoas de que a objetividade não é inimiga da sensibilidade, da teoria, ou dos projetos de transformação. Ao enfatizar que o conhecimento que se apoia sobre a verificação não é apenas instrumental, mas iluminador.
(Verificação é um problema que na filosofia da ciência se traduz em: “como você sabe que o que está afirmando reflete a realidade?”. Descreva os conceitos que está a empregar. Fale sobre as ferramentas que utilizou para observá-los. Explicite seus indicadores, os casos colhidos, sua representatividade.)
Explique-nos, gestor da área social, o que ocorreu e convença-nos de que seu programa melhorou a vida das pessoas, como, quanto, quando.
As vezes em que vi olhares desconfiados do “positivismo” se abrirem aos poucos às  possibilidades transformadoras do saber positivo no decorrer de um projeto foram as mais gratificantes, sem dúvida. Ali sentidos fundamentais da avaliação de programas sociais foram compreendidos: mudar a vida das pessoas para melhor, fazer mais com menos, fazer direito. Todo método decorre daí. Não importa se “quali” ou “quanti”, desde que traga respostas as mais verdadeiras possíveis para as perguntas certas. E perguntas certas são aquelas que têm nexo com a transformação pretendida.
E, não menos importante, me dou conta de que a Paula, super racional ex-gestora corporativa hoje professora de francês, e os demais profissionais que trabalharam aqui desde então, têm em comum essa virtude de buscar objetivamente as possibilidades humanas do desenvolvimento social, o que define em grande medida a Plan como instituição.

<https://plus.google.com/+FabrizioRigout”rel=author”>