Em texto anterior, falei sobre a técnica de análise qualitativa comparada (QCA) como alternativa à estatística para a inferência causal. Ressaltei que a QCA exibe uma vantagem de ordem prática em relação a esta, permitindo o trabalho com bases de dados reduzidas, e outra vantagem da ordem da sofisticação explicativa, ao possibilitar que o pesquisador se debruce sobre as diversas combinações de causas e efeitos observados.
Especificamente na avaliação voltada à melhoria de intervenções, a QCA ilustra bem quais configurações de condições estão associadas a determinados resultados. Na prática, é necessário atentar para as condições suficientes, configurações que estão sempre associadas a esse resultado (ou sua ausência); e ainda para as condições necessárias, configurações que estão presentes sempre que se observa um determinado resultado (ou sua ausência). Frequentemente ambas são do interesse do pesquisador.
É possível fazer a QCA pela simples observação das combinações que se aplicam a cada caso? Quando as categorias de análise (condições) são poucas, sim. Não é difícil visualizar as combinações de 2 ou 3 atributos em tabelas correspondentes aos cenários de suficiência/necessidade presença/ausência do resultado. Mas note-se que para cada condição acrescentada, o número de combinações possíveis aumenta exponencialmente (2x casos para x condições). Com apenas 6 condições, portanto, já temos 64 combinações possíveis. Daí a necessidade de softwares específicos que deem conta de processar esses cenários complexos.
Os softwares de QCA (como este e este) automatizam o processo de identificação de inconsistências e contradições. Haverá configurações em que tanto a presença como a ausência de uma condição são necessárias para um resultado. Esses casos são logicamente inconsistentes. Haverá ainda muitas configurações logicamente possíveis mas que não estão contempladas por casos no banco estudado. Ou mesmo 2 casos de configurações idênticas porém contraditórias, que estão associadas ao mesmo tempo a um resultado e à sua ausência.
Um ponto a se destacar na análise de configurações é a possibilidade de se identificar mais de um caminho para chegar ao mesmo resultado. E isso não quer dizer que todas as configurações sejam igualmente eficazes. Neste momento a bagagem teórica do pesquisador faz diferença. Há que se interpretar a história por trás dos diferentes arranjos observados para se entender porque funcionam. Em suma, é preciso uma hipótese explicativa baseada em teoria, como de resto em qualquer generalização a partir de dados empíricos.
Mas por que se utilizar o QCA em vez de um modelo de regressão, onde variáveis podem ser acrescentadas infinitamente e seu poder explicativo determinado?
Entendo que um diferencial positivo do QCA é chamar a atenção para cenários que não tinham sido antecipados e que não teriam sido testados em outros modelos. Na gestão de projetos isso representa um estímulo ao pensamento fora da caixa: Que variáveis estão presentes num caso bem-sucedido que a teoria da mudança não previu? Que condições precisam ser minimamente satisfeitas para que esse “case” ganhe escala?
Essas são perguntas respondidas com mais acurácia pelo QCA do que pelas abordagens qualitativas mais simples em função da possibilidade que o método oferece de indicar caminhos de causalidade. Mais ainda, a iteração entre a análise de conteúdo e a qualitativa comparada é um procedimento que dá poder explicativo a estudos interpretativos, aumentando a plausibilidade do argumento avaliativo.
Para alguns exemplos do uso do QCA na avaliação, veja esta revisão crítica publicada no American Journal of Evaluation.