Publicado em

Desafios de síntese na análise qualitativa

Na condução de avaliações qualitativas, frequentemente enfrentamos o desafio de síntese na análise, especialmente em avaliações de meio-termo, em avaliações de processos e em avaliações de resultados. Isso porque diferentemente de uma avaliação de impacto, por exemplo, esses estudos requerem um conhecimento mais detalhado do percurso do projeto, para que seja possível estabelecer relações entre as opções feitas durante a implementação e os resultados atingidos e, principalmente para poder interpretar esses resultados corretamente.

Em geral, são avaliações com grande quantidade de documentos e cujos TR exigem um número elevado entrevistas, objetivando que todos os perfis (gerentes, técnicos, beneficiários, etc.) e seus diferentes pontos de vista sejam contemplados. Assim, em se tratando de avaliações qualitativas, o desafio da análise está posto: volumes e volumes de documentos, horas e horas de entrevistas que deverão ser observados, descritos e analisados. Cabe ao avaliador tomar as decisões corretas, escolhendo bem quais dados utilizar em sua análise para que esse desafio gere bons resultados e não se tenha um trabalho excessivo cujo resultado não necessariamente corresponderá ao esforço empreendido.

“Quando você tenta localizar um sinal claro de estação de rádio através do ruído estático que preenche as vias aéreas entre os sinais, você está envolvido no processo de distinguir sinal de ruído. (…) Os dados são ruído, muito e muito ruído. Quanto mais dados, mais ruído. Big Data: ruído alto. A história que detecta, dá sentido, interpreta e explica padrões significativos nos dados é o sinal. Mas o sinal não é constante ou estático. Eles variam de acordo com o contexto e mudam com o tempo. Portanto, a busca para distinguir sinal de ruído é contínua.” (Tradução livre de Patton, 2015)

Assim, tendo experimentado algumas vezes o desafio de implementar avaliações desta natureza, separamos aqui algumas dicas que podem ajudar avaliadores a não caírem em armadilhas que comprometerão a eficiência e a qualidade da avaliação.

No que tange, aos documentos que serão analisados, combine com o contratante logo no início da avaliação:

  • Quais informações são relevantes e que devem ser repassadas à equipe de avaliação – é muito comum que os documentos sejam repassados em uma seleção prévia, acarretando em um desperdício de horas na análise de documentos irrelevantes para o próposito do estudo.
  • Como essas informações serão repassadas – o ideal é que uma pessoa fique responsável por selecionar e enviar os documentos.
  • O prazo para repasse de documentos e dados oficiais do projeto – sem isso, corre-se o risco de que informações-chave sejam enviadas após a fase de análise de documentos e coleta de informações em campo, o que certamente prejudicará a qualidade das análises.

O trabalho de campo, por sua vez, também pode fazer com que a análise e elaboração do relatório seja mais ou menos fácil para a equipe. A depender do número de entrevistados, da sua dispersão geográfica e do prazo para realização das entrevistas, poderá ser importante contar com uma equipe de entrevistadores, os quais não necessariamente se envolverão na elaboração do relatório. Se por um lado isso facilita a execução do trabalho, por outro, pode dificultar o trabalho de interpretação dos resultados e redação do relatório final. Portanto, é importante:

  • Oferecer treinamento prévio à equipe de campo, contemplando: informações sobre o projeto, sobre o perfil dos entrevistados e sua participação no projeto, eventuais armadilhas a serem evitadas, conhecimento sobre o roteiro de perguntas e o que dentro dele é mais importante, a fim de que o entrevistador possa ter autonomia em campo, sem deixar de fora questões cruciais para a avaliação.
  • Repassar aos entrevistadores o que deve ser entregue e como: áudio, transcrição ou sistematização das entrevistas.
  • Solicitar junto com a entrega (transcrição, sistematização, ou áudios das entrevistas) documento síntese que contemple as principais observações, achados e desafios enfrentados em campo.
  • Que após o campo a equipe de entrevistadores se reúna para discutir os achados de campo, antes do início da análise e elaboração do relatório.

O desafio maior reside, sem dúvidas, no trabalho de síntese e análise dessas informações, em saber distinguir entre o que é e o que não é relevante para o trabalho em curso.

Neste ponto, ainda que não existam regras e fórmulas há medidas que podem ser tomadas para facilitar este processo e, portanto, separamos algumas dicas retiradas e adaptadas do livro do Michael Quinn Patton (2015) e do Jonny Saldaña (2010), que consideramos abrangentes, úteis e que normalmente são esquecidas pelas equipes de avaliação.

Durante o campo Inicie a análise durante o trabalho de campo: ao final de cada entrevista, anote suas principais observações, as hipóteses explicativas e novas questões. Anote (e peça que a equipe de entrevistadores também o faça) os padrões que começarem a surgir, temas e relações entre eles e instrua os pesquisadores a testarem essas hipóteses, confirmando-as ou excluindo-as ainda em campo.

Identifique e preencha as lacunas: durante o trabalho de campo, certamente surgirão novas questões, muitas delas poderão ser respondidas em campo, outras dependerão de documentação complementar. Todas essas lacunas precisam ser preenchidas ainda na fase de coleta de dados, antes do início da análise.
No início da análise Não pule a etapa descritiva: ainda que seja tentador pular direto para a interpretação dos resultados, não pule a etapa descritiva dos achados.

Ainda que seja um trabalho detalhista de sistematização, uma boa interpretação, que explique esses achados, agregue significado aos resultados e detecte padrões só pode ser feita com um bom trabalho descritivo prévio.

Leia e releia os documentos descritivos: as hipóteses e padrões começarão a emergir!

Decida sobre o uso de softwares: softwares de análise qualitativa podem ser extremamente uteis, sobretudo se a análise passará por um processo de codificação. No entanto, assegure-se que todos possuem familiaridade e estão treinados no uso do software. Caso contrário, os prejuízos podem ser maiores do que os benefícios.

Tenha clareza sobre a estratégia de análise que será utilizada: a análise qualitativa pode seguir por diversos caminhos. Ter uma estratégia clara de análise e forma de reportar os resultados desde o início ajuda a fazer escolhas sobre que informação será considerada e como será utilizada.
Durante a análise Tenha claro o propósito do estudo e as perguntas de avaliação: Deixe sempre visíveis o propósito e as perguntas de avaliação. Isso ajuda a manter a análise na direção correta!

Tenha um diário de análise: Anote todas as decisões tomadas, deixe um registro sobre o processo analítico, as ideias emergentes, encruzilhadas, falsas hipóteses, becos sem saída, “insights”. Essa documentação ajudará a trazer rigor às suas análises e a fundamentar seus argumentos.

No trabalho de análise qualitativa certamente enfrentaremos os mais diversos desafios. No entanto, se conseguirmos ser extremamente organizados, perseverantes – especialmente se for trabalhar com codificação, que pode ser desafiadora e exaustiva – flexíveis e capazes de lidar com ambiguidades, criativos e absolutamente éticos, certamente poderemos aprender a cada avaliação um pouco mais sobre o processo de avaliação qualitativa, sobre nossos objetos de estudo e, especialmente mais sobre nós mesmos!

 

 

Referências:

Patton, M. Q. (2015). Qualitative evaluation and research methods (4th ed.). Thousand Oaks, CA, US: Sage Publications, Inc.

Saldaña, J. (2009). The coding manual for qualitative researchers. Thousand Oaks, CA,: Sage Publications Ltd.

 

Publicado em

Compartilhando experiências

Iniciamos 2015 e a comunidade internacional de avaliadores nos convida a refletir sobre a importância da avaliação e compartilhar nossas experiências como avaliadores.  O movimento “2015 – Ano Internacional da Avaliação” tem sido promovido em âmbito nacional e internacional, explicitando as possíveis formas de contribuição.

 

Entre as recomendações, levanta-se a necessidade de difundirmos nosso conhecimento e experiências em avaliação, estejam elas relacionadas à aplicação dos diferentes métodos de pesquisa, às ferramentas de análise de dados, à sua comunicação ou até mesmo ao processo de levantamento das informações.

De fato, dividir nossas experiências é de grande valor para os avaliadores. Além de ser reconfortante, pois que lidamos diariamente com grandes desafios comuns, a prática contribui para o aprimoramento dessa nossa tão complexa função. Por isso, listamos abaixo algumas iniciativas de troca de experiências, de compartilhamento de material didático e de estudos de caso, onde é possível participar de cursos, palestras e encontrar oportunidades de trabalho, entre outras possibilidades do mundo virtual dos avaliadores.

No Brasil ainda há poucos espaços virtuais de trocas sobre avaliação. A grande aglutinadora desses interesses tem sido a Rede Brasileira de Monitoramento e Avaliação que oferece para cadastrados um espaço de intercâmbio de experiências, oportunidades e divulgação cursos e materiais didáticos sobre avaliação. Outro espaço virtual de aprendizagem é oferecido pela página de avaliação econômica da Fundação Itaú Social, que disponibiliza uma plataforma com conteúdo reduzido do curso que oferecem anualmente para iniciantes na profissão.

Já no âmbito internacional, há muitas iniciativas desse tipo vinculadas especificamente à avaliação. Entre elas, destaco as que mais utilizo e recomendo:

1)     MyMande: Gerenciado pela UNICEF e IOCE (International Organization for Cooperation in Evaluation) o site apresenta-se como uma plataforma interativa para compartilhamento de conhecimentos relacionados a monitoramento e avaliação. Procura oferecer aprendizado e servir como meio para fortalecer a comunidade global de avaliação. Lá você encontra ferramentas de avaliação (guias de aplicação de avaliações em diferentes setores, exemplos de instrumentais, etc.), cursos e seminários online.

2)     BetterEvaluation: O site está voltado para disseminar o uso da avaliação, oferecendo guias com check-list de como planejar e executar uma avaliação, como decidir o melhor enfoque para sua avaliação, materiais diversos sobre avaliação (estudos de caso, textos de meta-avaliação, etc), orientações para realizar avaliações em áreas específicas, etc.

3)     O blog da American Evaluation Association: A Tip-a-Day by and for Evaluators, é um blog patrocinado pela AEA destinado a oferecer dicas de avaliadores e para avaliadores. No ar desde 2010, os posts do blog são bem variados e interessantíssimos. Lá é possível encontrar dicas valiosas e até mesmo contribuir enviando texto para aea365@eval.org.

4)     Blogs do Banco Mundial: Entre eles destaco o blog Development Impact criado por membros do Development Research Group do Banco Mundial. A finalidade é ser um fórum de discussão voltado às questões que surgem durante o desenvolvimento de avaliações de impacto: como conduzir, o que aprendemos com essas avaliações, como podemos melhorar nossa prática, etc.

5)     Outra forma de se familiarizar com os dilemas e soluções dos avaliadores é fazer parte das listas de discussão. Uma que diariamente gera grande volume de informações é a Pelican Initiative: https://dgroups.org/groups/pelican. A proposta é ser um canal de comunicação de profissionais que trabalham com transformações sociais, ajudando a aprender mais com o que fazemos e, ao mesmo tempo, ter o maior impacto possível sobre os processos de mudança social em que nos envolvemos.

Além dessas, há muitas outras formas de se familiarizar com o mundo da avaliação ou aprofundar nas peculiaridades do trabalho como avaliador. No blog da Plan vamos trazer ao longo de 2015 textos que reflitam o dia-a-dia do nosso trabalho, compartilhando conhecimentos acumulados, ferramentas e estudos casos, a fim de contribuir com movimento de fortalecimento e profissionalização da avaliação.

Publicado em

Um dia de campo

No trabalho de campo das avaliações de políticas públicas nos deparamos com muitas realidades. Quase sempre distintas entre si, complexas e contraditórias, elas chocam, impactam, geram um turbilhão de sentimentos e reflexões. Provocam tudo, menos a indiferença.

Na minha última experiência tive a oportunidade de conhecer “por dentro” uma comunidade do morro, de sentir a favela vivida.

Chegando lá a primeira sensação foi de desconforto. Logo na entrada, o aviso pichado no muro nos lembrou de que aquela área não nos pertencia: “por favor, abaixar o vidro, desliga o farol, tira o capacete”. Ali o trânsito não era livre.

Com o carro da Prefeitura chegamos somente até aquele ponto. O instrumento da nossa sensação de segurança ficou ali, estacionado no fim da rua. A partir daí somente becos, ruelas e escadarias. Um emaranhado de caminhos nos levava cada vez mais para o alto, mais perto do céu. A vista do alto do morro era espetacular, mas no trajeto, a pobreza e o lixo desenhavam o cenário do abandono.

Passamos três vielas, subimos uma escadaria e iniciamos nossa busca pelo primeiro entrevistado. Abandonar o mapa com os nomes das ruas e números das casas foi a primeira e mais sábia providência.

– “Boa tarde. Por favor, o senhor sabe onde fica a casa da Dona Marta?”

– “A esposa do Marcos? Ih, saiu e só volta no final do dia!”

– “E a casa da Marina?”

– “É aquela laranja logo ali, nos fundos da amarela, depois da escada.”

Chamamos à porta. Em meio às tarefas da casa, Marina me convidou para entrar.  Ainda desconcertada, permaneci ereta, retesada, porém com um sorriso constante, quase que forçado, tentando realizar minha entrevista. Foram necessários, no entanto, apenas alguns minutos para que o calor daquela casa quebrasse o gelo da minha redoma e me permitisse sentir a realidade. Água, bolo, café. De tudo que me ofereceu, aceitei apenas relaxar.

Saindo dali, conversamos com mais algumas famílias e seguimos pelos becos e escadarias. A sensação ainda era de desconforto, mas agora ela se misturava com a curiosidade, com a empatia, e ao final do dia dividia o espaço com muitos outros sentimentos.

À tarde, as pessoas começaram a voltar para suas casas, a senhora que subia o morro cumprimentou a vizinha que estava na janela; uma adolescente carregava o filho para perto do amigo que voltava da escola; na frente da vendinha do seu Antonio algumas crianças empinavam pipa e jogavam bola.

Naquele momento, a situação de pobreza que saltava aos olhos e a miséria de alguns foram ofuscadas pela constatação de que naquele espaço também existia algo de precioso.

A intensa circulação de pessoas, o uso e ocupação de todos os espaços e a vida comunitária ali presentes não se enquadravam nos padrões e dinâmicas vividos na cidade formal. A vontade de permanecer ali, de conhecer aquelas pessoas e tentar, ainda que em vão, experimentar a sensação de viver como todos eles, reverberou dentro de mim.

Carentes de muitos bens e serviços, acostumados a outras formas de violência e opressão, os moradores  de lá possuíam valores que nós perdemos em algum lugar no tempo. Saí com a certeza de que onde moro as pessoas não se relacionam, muito menos circulam tão livremente; lembrei de  histórias pessoas que angustiadas com as amarras de suas vidas escolheram o extremo, abrindo mão de tudo que tinham. Agora eu me pergunto: qual o preço dessa liberdade? E como deve ser morar e viver onde se quer, sem ter nada a perder?