Onde estão os avaliadores brasileiros?

Não há avaliadores no Brasil.

Foi a conclusão que levei do último congresso da Rede Brasileira de Monitoramento e Avaliação, ocorrido na Unicamp, em Campinas-SP, de 25 a 27 de setembro. Não é dizer que não haja pessoas que desempenham projetos de avaliação em suas diversas manifestações. Também não quer dizer que não existam funcionários públicos, diretores de responsabilidade social empresarial, e ongueiros comissionando trabalhos que engajam os anéis reflexivos dentro das organizações, apoiados pelas metodologias das ciências sociais. Mas a identidade do campo, da prática e dos profissionais é atomizada, dispersa entre inúmeros outros nomes.

Uma rosa por outro nome…?

Bem, acredito que a avaliação, como conceito, é tão natural quanto necessária. Parafraseando Mark, Greene, e Shaw, “talvez julgar coisas de forma avaliativa é ainda mais básico [na psicologia humana] que dar sentido ao mundo descritivamente.” Após algumas páginas afirmam: “se você pedir a 10 avaliadores que definam a avaliação, vai ouvir 23 definições diferentes”. (SAGE Handbook of Evaluation, 2006) O fato de a atividade da avaliação ser intrinsecamente enraizada na prática a meu ver exige criatividade e flexibilidade saudáveis do profissional. Quanto mais vinculado com a realidade quotidiana dos projetos sociais, menos risco de se tornar uma coisa rígida e monoteórica. Kuhn se referia aos campos das “ciências maduras”, mas serve como uma ótima prefiguração do que pode acontecer se fosse arrancado desses ambientes:

“vamos finalmente descrever a pesquisa como uma tentativa vigorosa e dedicada de forçar [a coisa pesquisada] nas caixas conceituais fornecidas pela educação profissional.” (tradução minha)

Quer dizer que a atividade de avaliar vai ocorrer de uma forma ou de outra, mas reunir um núcleo de pessoas que se identificam como avaliadores profissionais é uma tarefa difícil.

A tarefa da RBMA é então ultra delicada: construir uma nova comunidade, o esqueleto de uma nova disciplina no país, unida, mas não tão unida. Este desafio vem com enormes responsabilidades, principalmente a articulação da identidade profissional do avaliador.

A profissão do avaliador

O caminho que leva a uma comunidade avaliativa brasileira robusta e vivaz será calçado com passos concretos. Acho que foi isso que respaldava a pergunta de Martha McGuire durante o evento:

—O site da RBMA tem uma listagem de avaliadores?

Não tem.

Outro desalinhamento sutil de destaque: quantos participantes do seminário foram convidados para um outro congresso internacional especificamente sobre a criação de comunidades nacionais de avaliação…EM SÂO PAULO…TRÊS DIAS APÓS O EVENTO DA RBMA? Quantos ao menos estavam cientes que ocorreria? Por que separar os dois eventos para começar, se os interesses dos envolvidos são tão otimamente alinhados? Ok, havia discussões online prévias à conferência, e talvez foi por questões logísticas que tiveram de ser separados. Mas é um precedente desvantajoso para quem está procurando fortalecer e unificar. A American Evaluation Association já conta com mais de 4.000 membros, e os representantes da Fundação Ford, da USAID, e da Western Michigan University (único doutorado de avaliação oferecido nos E.U.A.) participam no mesmo nível e respondem aos mesmos processos seletivos que o resto dos membros. Visto a identidade já fraca e dispersa do avaliador brasileiro, não é o momento de enviar mensagens de exclusividade.

Olhando para frente, estou otimista. A RBMA está fazendo um trabalho difícil, nobre, e de altíssimo valor. Mas para que a avaliação como entidade orgulhosa e independente floresça, objetivo com que acho que todos as participantes na rede estão de acordo, o diabo está nos detalhes.

Um dia de campo

No trabalho de campo das avaliações de políticas públicas nos deparamos com muitas realidades. Quase sempre distintas entre si, complexas e contraditórias, elas chocam, impactam, geram um turbilhão de sentimentos e reflexões. Provocam tudo, menos a indiferença.

Na minha última experiência tive a oportunidade de conhecer “por dentro” uma comunidade do morro, de sentir a favela vivida.

Chegando lá a primeira sensação foi de desconforto. Logo na entrada, o aviso pichado no muro nos lembrou de que aquela área não nos pertencia: “por favor, abaixar o vidro, desliga o farol, tira o capacete”. Ali o trânsito não era livre.

Com o carro da Prefeitura chegamos somente até aquele ponto. O instrumento da nossa sensação de segurança ficou ali, estacionado no fim da rua. A partir daí somente becos, ruelas e escadarias. Um emaranhado de caminhos nos levava cada vez mais para o alto, mais perto do céu. A vista do alto do morro era espetacular, mas no trajeto, a pobreza e o lixo desenhavam o cenário do abandono.

Passamos três vielas, subimos uma escadaria e iniciamos nossa busca pelo primeiro entrevistado. Abandonar o mapa com os nomes das ruas e números das casas foi a primeira e mais sábia providência.

– “Boa tarde. Por favor, o senhor sabe onde fica a casa da Dona Marta?”

– “A esposa do Marcos? Ih, saiu e só volta no final do dia!”

– “E a casa da Marina?”

– “É aquela laranja logo ali, nos fundos da amarela, depois da escada.”

Chamamos à porta. Em meio às tarefas da casa, Marina me convidou para entrar.  Ainda desconcertada, permaneci ereta, retesada, porém com um sorriso constante, quase que forçado, tentando realizar minha entrevista. Foram necessários, no entanto, apenas alguns minutos para que o calor daquela casa quebrasse o gelo da minha redoma e me permitisse sentir a realidade. Água, bolo, café. De tudo que me ofereceu, aceitei apenas relaxar.

Saindo dali, conversamos com mais algumas famílias e seguimos pelos becos e escadarias. A sensação ainda era de desconforto, mas agora ela se misturava com a curiosidade, com a empatia, e ao final do dia dividia o espaço com muitos outros sentimentos.

À tarde, as pessoas começaram a voltar para suas casas, a senhora que subia o morro cumprimentou a vizinha que estava na janela; uma adolescente carregava o filho para perto do amigo que voltava da escola; na frente da vendinha do seu Antonio algumas crianças empinavam pipa e jogavam bola.

Naquele momento, a situação de pobreza que saltava aos olhos e a miséria de alguns foram ofuscadas pela constatação de que naquele espaço também existia algo de precioso.

A intensa circulação de pessoas, o uso e ocupação de todos os espaços e a vida comunitária ali presentes não se enquadravam nos padrões e dinâmicas vividos na cidade formal. A vontade de permanecer ali, de conhecer aquelas pessoas e tentar, ainda que em vão, experimentar a sensação de viver como todos eles, reverberou dentro de mim.

Carentes de muitos bens e serviços, acostumados a outras formas de violência e opressão, os moradores  de lá possuíam valores que nós perdemos em algum lugar no tempo. Saí com a certeza de que onde moro as pessoas não se relacionam, muito menos circulam tão livremente; lembrei de  histórias pessoas que angustiadas com as amarras de suas vidas escolheram o extremo, abrindo mão de tudo que tinham. Agora eu me pergunto: qual o preço dessa liberdade? E como deve ser morar e viver onde se quer, sem ter nada a perder?

Saúde Brasileira em Números: Onde Pesquisar?

Os dados secundários estatísticos são amplamente utilizados para embasar hipóteses e teorias acadêmicas, para ilustrar notícias e artigos de opinião nos media ou como argumento em discussões de café. Apesar disso, frequentemente esses dados são referidos fora do contexto em que foram produzidos e, por isso, acabam por dar azo a interpretações deturpadas.

Ao utilizar dados secundários cuja coleta é responsabilidade de terceiros, é necessário considerar o risco associado à possibilidade de haver displicência no processo de coleta o que, em consequência, coloca em causa a fiabilidade dos dados. Dessa forma, é fundamental utilizar apenas dados produzidos por fontes fidedignas.

Em post anterior indicamos as principais fontes de dados secundários sobre Educação, esta semana trataremos de outro tema fundamental para diagnósticos: a Saúde.

Como na Educação, também os dados sobre Saúde estão particularmente concentrados numa fonte: o Departamento de Informática do SUS (DATASUS). Infelizmente, e aqui ao contrário do que acontece na Educação, o sistema não merece referência nem pela sua organização nem pela sua usabilidade. Complementarmente, podem ser ainda consultados o Instituto Brasileiro de Geografia e Estatística (IBGE), apesar de não disponibilizar microdados das suas pesquisas sobre saúde, e a Organização Mundial de Saúde (OMS), embora os dados disponíveis sejam apenas de nível nacional e não tenha página em português.

Considerando, então, os dados do DATASUS, estes podem ser acedidos através do TABNET e, apesar de este se encontrar dividido por temas, em “Indicadores de Saúde” é possível encontrar os dados mais relevantes:

Indicadores e Dados Básicos (IDB): com dados sobre morbidade, mortalidade, fatores de risco e proteção, sobre recursos e cobertura de serviços, o IDB, ainda que com os obstáculos causados pela má usabilidade, é a ferramenta mais completa do site.
Sala de Situação, Cadernos de Informação de Saúde e Monitoramento de Mortalidade: ainda que mais limitados que os dados do IDB, o desenho das ferramentas foi bastante mais feliz e, para uma pesquisa mais superficial, permitem encontrar dados relevantes em menos tempo.

A Agenda de Resultados – Parte I: Brasil

Em abril tive a sorte de visitar Brighton, no Reino Unido, para o congresso do Big Push Forward, um núcleo de acadêmicos, líderes de ONGs internacionais e avaliadores profissionais preocupados com o que chamam de Agenda de Resultados (Results Agenda) no âmbito da avaliação. Para participar da conferência foi necessário compartilhar uma “experiência” pessoal da Agenda de Resultados. Naturalmente, compartilhei minhas impressões (incipientes) sobre  a falta dessa agenda no cenário brasileiro:

Minhas experiências quotidianas no Brasil continuamente me fazem pensar como a Agenda de Resultados é  incompatível com a cultura da nação. A incompatibilidade geral certamente se entrelaça causalmente com a falta da presença da Agenda no cenário nacional. Eu, com a minha herança do ‘Norte Global’, também sinto a falta do que chamaria uma ‘cultura de avaliação’. Não sou antropólogo, mas enxergo que a cultura brasileira tem um jeito distinto de atribuir  responsabilidades, discutir objetivos e criticar, que eu estou constantemente aprendendo. Minha empresa trabalha com contratos públicos, fundações privadas e ONGs. Nenhuma vez ouvi um cliente perguntar sobre um ensaio clínico aleatorizado. Projetos quantitativos são escassos. Treinamento quantitativo é concentrado numas poucas instituições. Neste sentido, a empresa tem suas razões, por exemplo, para introduzir/enfatizar a ideia de um grupo de controle aos clientes novos. Eu concordo com o nosso meta-objetivo de instilar uma mentalidade mais orientada aos resultados [de programas sociais]. A questão é se eu posso articular de forma convincente como esta mensagem pode se modificar, em condições erradas, na ‘Agenda de Resultados’ (com suas conotações pejorativas).

No momento, o campo brasileiro de monitoramento e avaliação é pequeno, mas seus membros são sérios, bem treinados em geral, e altamente profissionais – daí o setor estar pronto para um crescimento enorme. Como vêm duma nação que foi por muito tempo economicamente isolada , uma líder regional, e um ator global importante, os brasileiros parecem seletivos em relação a ideias importadas [ideologicamente]. Ou seja, o Brasil pode ser um dos lugares mais importantes no mundo para o desenvolvimento da cultura e da prática da avaliação no futuro. Finalmente, o momento é AGORA, no começo, no momento em que as borboletas têm potencial máximo de gerar furacões.

(traduzido do inglês)

São as minhas observações informais, feitas sem consultar a ninguém, e certamente enviesadas pelas particularidades de minha posição e história pessoais. Será que servem para gerar uma discussão crítica com vocês, caros leitores?

Qual é o caminho que uma pessoa segue para entrar neste setor? Como se destaca- dos demais?

Como se posiciona o setor brasileiro de M&A em relação a  setores, escolas de pensamento e discussões internacionais? Latino-americanos? Norte-americanos? Quais são as suas particularidades?

Deixo aberto – quais são as suas opiniões?

Educação Brasileira em Números: Onde Pesquisar?

Os dados secundários estatísticos são amplamente utilizados para embasar hipóteses e teorias acadêmicas, para ilustrar notícias e artigos de opinião nos media ou como argumento em discussões de café. Apesar disso, frequentemente esses dados são referidos fora do contexto em que foram produzidos e, por isso, acabam por dar azo a interpretações deturpadas.

Ao utilizar dados secundários, cuja coleta é responsabilidade de terceiros, é necessário considerar o risco associado à possibilidade de haver displicência no processo de coleta o que, em consequência, coloca em causa a fiabilidade dos dados. Dessa forma, é fundamental utilizar apenas dados produzidos por fontes fidedignas.

Ao longo das próximas semanas publicaremos as fontes de referência para a obtenção de dados estatísticos de vários tópicos sobre o Brasil. Esta semana, a Educação.

Os dados estatísticos sobre a Educação no Brasil estão bastante centralizados e são, na sua grande maioria, da responsabilidade do Instituto Nacional de Pesquisas Educacionais Anísio Teixeira (INEP), que os disponibiliza em diversos formatos: microdados, sinopses e consultas no próprio site. Complementariamente, sugerimos também a consulta dos dados do Fundo Nacional de Desenvolvimento de Educação (FNDE) e do Instituto Brasileiro de Geografia e Estatística (IBGE).

Instituto Nacional Estudos Pesquisas Educacionais Anísio Teixeira (INEP)

Microdados
Censo Educação Superior (1995-2011)
Censo Escolar (1995-2012)
Censo Profissionais do Magistério (2003)
Enade (2004-2011)
Enem (1998-2011)
Pesquisa de Ações Discriminatórias no Âmbito Escolar (2008)
Pnera (2004)
Prova Brasil (2007-2011)
Provão (1997-2003)
Saeb (1995-2011)

Sinopses
Educação Básica
Média de Alunos por Turma (2007-2010)
Média de Horas-Aula diária (2010)
Taxa de distorção idade-série (2006-2010)
Taxa de Rendimento (2007-2011)
Taxa de Não Resposta (2010-2011)
Educação Superior
Número de Cursos, Matrículas e Concluintes (1991-2010)

Consulta no Site
Índice de Desenvolvimento de Educação Básica (2005-2011)

Instituto Brasileiro de Geografia e Estatística (IBGE)

Censo Demográfico
Dados de Alfabetização (2010)

PNAD
Número Médio de Anos de Estudo (2005 a 2006)

Fundo Nac. Desenvolvimento Educação (FNDE)

Investimento na Educação
Valor ano/aluno e Receita Anual Prevista (2007-2011)

Pesquisador, envie seu artigo

O Seminário da Rede Brasileira de Monitoramento e Avaliação (RBMA) é um evento anual onde se encontram os profissionais do setor no Brasil e os contratantes de avaliação dos setores público e privado. É uma excelente oportunidade de discussão dos resultados de pesquisas aplicadas. Ainda avaliamos pouco e falamos muito sobre avaliação. Então, se o seu trabalho de alguma forma analisa o desempenho de programas e projetos, faça de tudo para mandar seu artigo. A chamada foi prorrogada duas vezes –sinal de que você é muito bem-vindo. Envie sua proposta aqui até dia 24 de maio.

Avaliação na Plan, 5 anos depois

Em 2008, quando a Plan éramos só eu e a Paula, competentíssima ajudante num projeto que introduzia a gestão por resultados na Prefeitura de São Paulo (então no hiato entre uma carreira na Bolsa de Mercadorias e Futuros e o que viria a ser seu encontro com a vocação de professora de letras no ensino médio), eu sonhava que em 2013 a gente tivesse algo parecido com atuação nacional. Imaginava que um bom indicador de sucesso da empresa seria ter ajudado na implantação de programas com beneficiários no Brasil todo, algo como ter um ministério como cliente ou sair a campo fazendo surveys com milhares de casos que seriam lidos por quem tinha poder de decidir.

Colunas em que a gente de vez em quando se apoia
No final deste mês terminaremos um projeto de caracterização em 18 cidades distribuídas por todas as regiões do país. São 18 consultores em campo e potencialmente centenas de milhares de beneficiados. Talvez, enfim, meu objetivo “quantitativo” de 2008 esteja sendo cumprido. Significa muito para todos aqui da Plan; será nosso rito de passagem para o mundo das consultorias “adultas”.

Mas essa não foi nossa conquista principal.

Lembro que, à época, em meio a assistentes sociais desconfiadas, arquitetos sobressaltados, sociólogos reticentes, pensava também que, se em 5 anos de empresa tivéssemos conseguido levar um pouco da racionalidade da avaliação para meios em que o discurso especulativo prevalecia, teríamos ali uma grande vitória. Refiro-me ao debate contínuo de inspiração canônico-teórica, crítico sem dúvida, e humanista no bom sentido de sensível às muitas dimensões da existência, mas estranhamente desconfiado da racionalidade explicativa.
Ora, esse objetivo (“qualitativo”, por assim dizer) alcançamos mais rapidamente do que prevíamos ao trabalhar convencendo as pessoas de que a objetividade não é inimiga da sensibilidade, da teoria, ou dos projetos de transformação. Ao enfatizar que o conhecimento que se apoia sobre a verificação não é apenas instrumental, mas iluminador.
(Verificação é um problema que na filosofia da ciência se traduz em: “como você sabe que o que está afirmando reflete a realidade?”. Descreva os conceitos que está a empregar. Fale sobre as ferramentas que utilizou para observá-los. Explicite seus indicadores, os casos colhidos, sua representatividade.)
Explique-nos, gestor da área social, o que ocorreu e convença-nos de que seu programa melhorou a vida das pessoas, como, quanto, quando.
As vezes em que vi olhares desconfiados do “positivismo” se abrirem aos poucos às  possibilidades transformadoras do saber positivo no decorrer de um projeto foram as mais gratificantes, sem dúvida. Ali sentidos fundamentais da avaliação de programas sociais foram compreendidos: mudar a vida das pessoas para melhor, fazer mais com menos, fazer direito. Todo método decorre daí. Não importa se “quali” ou “quanti”, desde que traga respostas as mais verdadeiras possíveis para as perguntas certas. E perguntas certas são aquelas que têm nexo com a transformação pretendida.
E, não menos importante, me dou conta de que a Paula, super racional ex-gestora corporativa hoje professora de francês, e os demais profissionais que trabalharam aqui desde então, têm em comum essa virtude de buscar objetivamente as possibilidades humanas do desenvolvimento social, o que define em grande medida a Plan como instituição.

<https://plus.google.com/+FabrizioRigout”rel=author”>