Sobre avaliação e política

Tenho visto ressurgir discussões sobre o caráter político da avaliação que, tão rapidamente quanto aparecem, se cristalizam em tomadas de posição antagônicas (quali x quanti; medição x interpretação; neutralidade x interesse) bem mais antigas que a profissão. Entendo que por esse caminho não chegaremos à compreensão de como os avaliadores podem contribuir para qualificar a política em si.

O debate ponderado sobre o mérito de políticas públicas segue sendo um dos alicerces da democracia pois traz maior racionalidade ao processo decisório dos governos, permitindo assim a formação de consensos programáticos. Ironicamente, foi empobrecido nas últimas décadas justamente quando o avanço tecnológico deveria promover a ampliação da participação e, por conseguinte, seu enriquecimento. Por quê?

Num ambiente de parti pris, o conhecimento construído de forma criteriosa e sistemática sobre os problemas sociais não elege governo. Atestado disso é o sucesso dos neopopulistas à direita e à esquerda que apostaram num discurso de senso comum, ou seja, numa verdade que parece plausível ante a experiência das pessoas, sem que necessariamente explique a realidade. Essa verdade que busca ser mais intuitiva do que propriamente veraz é o que se convencionou chamar de “narrativa”.

No âmbito da avaliação, em defesa da narrativa chega-se mesmo a afirmar que não há produção de conhecimento que não seja política. Nesta visão, todo saber seria refém de interesses. Direciona-se então a análise às relações de poder: “a quem serve” determinada sociologia, estatística, economia… sem entrar no tema de sua qualidade como saber. O estudo foi criticado por pares? Pode ser replicado? As informações estão disponíveis? Quais as fontes da informação? Há interpretações concorrentes mais plausíveis? São questões em segundo plano.

Esse reducionismo construtivista se harmoniza com a política contemporânea pois ambos tendem a desprezar a objetividade do conhecimento. O primeiro por razões epistemológicas e a segunda por conveniência, mas isso é secundário ante a consequência: a erosão progressiva da base de conhecimento comum na esfera pública. Tudo se disputa na base do princípio. Temas fundamentais para o desenvolvimento como a desigualdade, a pobreza, a inovação tecnológica, a educação, as relações trabalhistas, a boa gestão das finanças públicas, são apresentados em função de sua relação com soluções ideológicas existentes em vez de serem tratados como problemas de fundo para os quais há soluções melhores e piores, além das que ainda não conhecemos e que provavelmente serão as melhores.

O resultado mais visível desse processo é um debate travado a partir de uma crítica da perspectiva dos sujeitos decisórios, seu caráter, sua afiliação, sua personalidade, em detrimento de uma discussão franca sobre a complexidade dos objetos em questão. Outros são o enfraquecimento do aconselhamento técnico nos gabinetes do executivo em favor da publicidade, a instrumentalização dos meios de comunicação pela política, a hipertrofia do discurso emocional e do moralismo.

Um exemplo de como a avaliação pode contribuir mais para o debate político a partir de uma investigação objetiva é o caso da evolução dos programas de transferência de renda condicionada (PTRC). Após sucessivos estudos de efetividade utilizando abordagens nos mais variados formatos (“quânti”, “quáli”, “mista”, etc.), demonstrou-se que os PTRCs têm efeitos comprovados de redução da pobreza no curto prazo. No Brasil, o Bolsa Família foi um sucesso retumbante nesse aspecto. Demonstrou-se, entretanto, que o Bolsa Família não é tão eficaz para quebrar o ciclo de pobreza, pois prioriza sua dimensão monetária e deixa de lado os mecanismos de promoção da autonomia. Nisso o programa chileno Puente foi mais bem-sucedido, pois focalizou na promoção de condições necessárias para a “porta de saída”, com grande ênfase no fortalecimento dos laços familiares, sociais, acesso prioritário a serviços e principalmente o acompanhamento de um assistente social em visitas periódicas de orientação e encaminhamento.

Programas anti-pobreza são criados quando há a pressão política organizada por grupos que perdem com ela, a começar pelos próprios pobres, seja por meio do voto ou pelo engajamento em movimentos sociais. Porém, o que permite seu aperfeiçoamento é a investigação diligente de alternativas à luz do problema em questão. No plano mundial, evoluiu-se de uma visão de pobreza monetária para uma de pobreza multidimensional graças à avaliação de políticas públicas. No Brasil parece se estar alguns passos atrás. Um dos temas centrais da última campanha eleitoral, o mérito do Bolsa Família, foi tratado quase que exclusivamente em termos de ser a favor ou contra; ou seja, não foi tratado.

O avaliador tem portanto um papel central, tanto tecnocrático como pedagógico, de levar ao público a necessidade de se pensar programas em termos de efetividade, eficiência, impacto e focalização. Certamente a vasta maioria do eleitorado desconhece esses conceitos, que de complexos não têm nada, só são deixados de lado. Temos um longo caminho pela frente.

Publicado originalmente em https://goo.gl/WzaxjN

Experiências da Plan com Diagnóstico Municipal da Infância e Adolescência

Ao longo dos últimos três anos a Plan conduziu cinco Diagnósticos da Infância e Adolescência, para os municípios de Araxá, Lençóis Paulista, Jundiaí, Rio Negrinho e Tubarão.  A construção do Diagnóstico é uma diretriz nacional, determinada pelo Conselho Nacional dos Direitos da Criança e do Adolescente (CONANDA), com o objetivo de que os municípios estabeleçam um documento que avalie a situação da infância e adolescência. O objetivo central do Diagnóstico é aproximar o Poder Público Municipal e a Sociedade da realidade das crianças e adolescentes dos municípios, para assim poder pensar e formular ações e Políticas Públicas de modo mais embasado e focado nas reais necessidades, além de ter uma atuação planejada a curto, médio e longo prazo.

A construção desses cinco documentos trouxe importantes ganhos de habilidades para a Consultoria. Assim, o objetivo deste post é relatar brevemente as metodologias utilizadas e os conhecimentos adquiridos, já que a realização de alguns projetos na mesma área permitiu à Plan desenvolver um método específico de trabalho, o qual se mostrou eficiente e satisfatório.

Todos os cinco projetos foram realizados a partir de quatro etapas, sendo:

  1. Coleta de dados secundários: Indicadores e dados secundários coletados a partir de fontes oficiais (DATASUS; Fundação SEADE, IBGE; IDEB, entre outras). Sempre que possível e quando relevante, os dados municipais foram comparados aos dados do estado do município estudado e da Região de Governo relacionada;
  2. Entrevistas em profundidade com Gestores, Técnicos e Servidores de serviços, entidades e programas (governamentais e não governamentais) de atendimento à infância e adolescência;
  3. Entrevistas com crianças, adolescentes e pais residentes nos municípios, de modo a obter um amplo panorama sobre a experiência da infância e adolescência em cada uma das cidades;
  4. Coleta de dados via web das entidades não governamentais: questionário via e-mail para coleta de dados sobre os atendimentos prestados pelas entidades que atuam nos municípios junto à infância e adolescência.

Para coleta e estruturação dos dados e informações, foi tomada por base a organização do Estatuto da Criança e do Adolescente (ECA), sendo considerados os cinco níveis de proteção previstos:

  • Vida e Saúde;
  • Liberdade, Respeito e Dignidade;
  • Convivência Familiar e Comunitária;
  • Educação, Cultura, Esporte e Lazer;
  • Profissionalização e Proteção no trabalho.

A opção por organizar o Diagnóstico a partir dos cinco eixos do ECA justifica-se pela centralidade do Estatuto no âmbito das Políticas Públicas para a infância e adolescência. Para cada um dos cinco eixos foram selecionados dados e indicadores que em sua totalidade compõem um panorama situacional das crianças e adolescentes nos municípios estudados. Os indicadores e dados foram selecionados a partir de sua relevância e também pela possibilidade de monitoramento periódico, de modo a acompanhar a evolução dos municípios em cada eixo.

Apesar do nome bastante amplo “Diagnóstico da Infância e da Adolescência”, a pesquisa está voltada prioritariamente para as crianças e adolescentes atendidos pelos serviços municipais, especialmente pela Assistência Social. Assim, não basta apenas os pesquisadores terem conhecimento sobre políticas públicas para a infância e adolescência, mas sim possuir clareza sobre a Rede de Atendimento, entendendo bem o funcionamento e atribuições de cada um dos serviços e órgãos relacionados. No fluxograma a seguir exemplificamos a Rede de Atendimento à Infância e Adolescência básica presente nos 5 municípios onde a Plan trabalhou. É importante destacar que para a infância e adolescência essa Rede está reunida a partir do Conselho Municipal dos Direitos da Criança e do Adolescente (CMDCA):

Pensando em conhecimentos adquiridos, quatro pontos podem ser destacados:

1º – como estratégia de pesquisa é extremamente importante que a equipe responsável pelo projeto encontre alguém que seja do CMDCA e que faça a ponte entre a Consultoria e os gestores e técnicos de serviços e órgãos locais. Essa pessoa, além de indicar quem pode ser entrevistado, facilita o contato e auxilia na organização e requisições de ambas as partes (Consultoria e CMDCA).

2º – os serviços e órgãos dificilmente dispõem de dados já organizados, portanto, o trabalho com dados quantitativos pode ser um desafio. Nesses casos, a principal fonte de informação passa a ser os dados qualitativos, coletados a partir de Entrevistas em Profundidade e Grupos Focais.

3º – o Diagnóstico está especialmente voltado para avaliar a garantia e/ou violação dos Direitos das Crianças e Adolescentes, assim, se faz necessário conhecer o atendimento prestado pela Rede de maneira ampla, podendo assim ter clareza sobre se cada um dos serviços e órgãos relacionados está ou não cumprindo com as expectativas.

4º – por último, apesar de ser um grande desafio, a equipe de pesquisa deve considerar entrevistar crianças e adolescentes. Apesar de alguns municípios requisitarem que somente gestores e técnicos de serviços relacionados sejam entrevistados, as opiniões das crianças e adolescentes devem também ser consideradas, já que elas agregam importantes informações ao Diagnóstico, além de promover o protagonismo infanto-juvenil, dando espaço de participação para as crianças e adolescentes para que eles mesmos tragam suas percepções sobre a experiência de ser criança e adolescente em cada um dos municípios estudados.

 

 

Análise Qualitativa Comparada na Avaliação

Resultado de imagem para shape-sort blocks

Em texto anterior, falei sobre a técnica de análise qualitativa comparada (QCA) como alternativa à estatística para a inferência causal. Ressaltei que a QCA exibe uma vantagem de ordem prática em relação a esta, permitindo o trabalho com bases de dados reduzidas, e outra vantagem da ordem da sofisticação explicativa, ao possibilitar que o pesquisador se debruce sobre as diversas combinações de causas e efeitos observados.

Especificamente na avaliação voltada à melhoria de intervenções, a QCA ilustra bem quais configurações de condições estão associadas a determinados resultados. Na prática, é necessário atentar para as condições suficientes, configurações que estão sempre associadas a esse resultado (ou sua ausência); e ainda para as condições necessárias, configurações que estão presentes sempre que se observa um determinado resultado (ou sua ausência). Frequentemente ambas são do interesse do pesquisador.

É possível fazer a QCA pela simples observação das combinações que se aplicam a cada caso? Quando as categorias de análise (condições) são poucas, sim.  Não é difícil visualizar as combinações de 2 ou 3 atributos em tabelas correspondentes aos cenários de suficiência/necessidade presença/ausência do resultado. Mas note-se que para cada condição acrescentada, o número de combinações possíveis aumenta exponencialmente  (2x casos para x condições). Com apenas 6 condições, portanto, já temos 64 combinações possíveis. Daí a necessidade de softwares específicos que deem conta de processar esses cenários complexos.

Os softwares de QCA (como este e este) automatizam o processo de identificação de inconsistências e contradições. Haverá configurações em que tanto a presença como a ausência de uma condição são necessárias para um resultado. Esses casos são logicamente inconsistentes. Haverá ainda muitas configurações logicamente possíveis mas que não estão contempladas por casos no banco estudado. Ou mesmo 2 casos de configurações idênticas porém contraditórias, que estão associadas ao mesmo tempo a um resultado e à sua ausência.

Um ponto a se destacar na análise de configurações é a possibilidade de se identificar mais de um caminho para chegar ao mesmo resultado. E isso não quer dizer que todas as configurações sejam igualmente eficazes. Neste momento a bagagem teórica do pesquisador faz diferença. Há que se interpretar a história por trás dos diferentes arranjos observados para se entender porque funcionam. Em suma, é preciso uma hipótese explicativa baseada em teoria, como de resto em qualquer generalização a partir de dados empíricos.

Mas por que se utilizar o QCA em vez de um modelo de regressão, onde variáveis podem ser acrescentadas infinitamente e seu poder explicativo determinado?

Entendo que um diferencial positivo do QCA é chamar a atenção para cenários que não tinham sido antecipados e que não teriam sido testados em outros modelos. Na gestão de projetos isso representa um estímulo ao pensamento fora da caixa: Que variáveis estão presentes num caso bem-sucedido que a teoria da mudança não previu? Que condições precisam ser minimamente satisfeitas para que esse “case” ganhe escala?

Essas são perguntas respondidas com mais acurácia pelo QCA do que pelas abordagens qualitativas mais simples em função da possibilidade que o método oferece de indicar caminhos de causalidade. Mais ainda, a iteração entre a análise de conteúdo e a qualitativa comparada é um procedimento que dá poder explicativo a estudos interpretativos, aumentando a plausibilidade do argumento avaliativo.

Para alguns exemplos do uso do QCA na avaliação, veja esta revisão crítica publicada no American Journal of Evaluation.

 

Análise qualitativa comparada (QCA)

 

É comum construirmos hipóteses a partir de uma combinação de qualidades que associamos a um certo efeito. Baseados em algumas observações nos vemos montando listas mentais de atributos cuja existência parece estar sempre atrelada à ocorrência de algo. Podemos pensar que sempre que uma galinha chocar seus ovos nascerão pintinhos, desde que haja um galo no galinheiro. Essa configuração parece ser suficiente para a eclosão do ovo, até que comecemos a reparar que na verdade há outros fatores que interferem na probabilidade de um pintinho nascer, como a temperatura e a umidade. Então podemos considerar que, apesar de necessárias, pois ocorrem toda vez que nasce um pintinho, essas condições não são suficientes para que o nascimento ocorra… e assim,  vamos refinando nossa teoria a partir da observação, incluindo alguns requisitos e retirando outros.

Na pesquisa social a análise de configurações é um procedimento comumente adotado em estudos em que o resultado é conhecido e existe uma variação de causas prováveis dentro de um universo relativamente pequeno. Em certas análises históricas comparadas o pesquisador tem a seu dispor algumas categorias (“atributos”) comuns a muitas sociedades, sendo que algumas combinações desses atributos parecem estar ligadas a tipos semelhantes de regimes políticos, sistemas de seguridade social, níveis de desenvolvimento econômico, formas de associativismo, etc.

Max Weber famosamente lançou mão desse expediente ao tentar identificar as relações possíveis entre crenças religiosas e a predisposição ao trabalho, tendo observado que entre algumas seitas protestantes havia uma conduta claramente mais sistemática. O sociólogo alemão construiu sua hipótese tipificando as grandes religiões do mundo de acordo com poucas categorias: sua visão do sentido da vida (realização nela versus busca de salvação), sua relação com o mundo (de evitá-lo ou de encará-lo) e sua doutrina de conduta (ascética ou contemplativa). As que combinavam busca de salvação com uma disposição a encarar o mundo de forma ascética foram as que resultaram numa inclinação maior para o trabalho sistemático e busca da dominação do meio.[1]

Nas avaliações nos deparamos com situações em que os casos não são suficientemente numerosos para que se possa comprovar associações entre ocorrências por meios estatísticos, seja por limitações de ordem prática (os dados foram colhidos numa amostra muito restrita) ou porque realmente as intervenções foram limitadas, integraram um piloto, tiveram um número de beneficiários reduzido ou porque a população em si já era pequena.

Tomemos como exemplo o caso do mapeamento de partes interessadas (“stakeholders”) para avaliação dos impactos do investimento social empresarial. Para esses estudos são entrevistados membros de associações, do governo, funcionários da empresa, suas famílias, fornecedores e mais alguns outros, e o número possível de tipos distintos de atores raramente ultrapassa o que cabe nos dedos das mãos. Quão útil para a modelagem de projetos de investimento social não seria entender quais as combinações ideais de características que esses atores deveriam ter para que se maximize o valor social gerado? Basta lembrar que as análises quantitativas feitas nesse campo costumam se restringir a escalas de interesse e poder, categorias restritivas quando se pensa na multiplicidade de determinantes de um engajamento bem-sucedido.

Em circunstâncias assim a análise qualitativa comparada (QCA, em sua sigla em inglês) tem uma contribuição importante a dar à avaliação. Essa técnica permite identificar as combinações de atributos que se mostram suficientes para um determinado resultado. No caso da referida análise de stakeholders, se observarmos que entre diversas instituições parceiras, as que prestavam contas regularmente, possuíam um líder eleito, se reuniam mensalmente com a empresa e tinham histórico de captação autônoma de recursos, foram também as que geraram mais valor compartilhado, essa combinação de características deve ser buscada em parcerias futuras que tenham o mesmo objetivo de transformação.

Desde sua introdução nos anos 1980, a QCA vem ampliando as possibilidades da pesquisa qualitativa permitindo sua conjugação a modelos explicativos. Abordagens qualitativas-interpretativas são criticadas por sua limitada possibilidade de generalização, e a QCA busca superar essa crítica por meio da caracterização explícita dos critérios utilizados nas comparações. Uma outra vantagem importante da técnica é sua comunicabilidade. Por se basear em teoria dos conjuntos, seus fundamentos são de compreensão fácil para o público em geral, o que nem sempre é o caso com a estatística usada nas abordagens quantitativas.

A QCA vai muito além da análise de suficiência de configurações. No próximo post falarei um pouco sobre a grande versatilidade do método e suas etapas de aplicação.

[1] WEBER, Max. A ética protestante e o “espírito” do capitalismo. São Paulo: Companhia das Letras, 2004.

Contrato de Impacto Social (CIS)

Recentemente o Governo do Estado de São Paulo lançou uma Consulta Pública referente a um Contrato de Impacto Social (CIS) na área da educação. Em dezembro deste ano, após o término dessa consulta, o governo vai lançar um Edital de Licitação para estabelecer o Contrato de Impacto Social, cujo objetivo final é identificar políticas públicas que sejam efetivas para melhorar alguns indicadores da área de educação.

Essa nova modalidade de contratação de serviços, ainda inédita no Brasil, permitirá ao governo atrelar a remuneração dos serviços contratados aos resultados produzidos pelas instituições contratadas. O CIS prevê que o contratado tenha por um lado a flexibilidade na execução das atividades e, por outro lado, fique responsável pelo risco de as metas não serem atingidas.

A grande novidade nesse processo é que, conforme noticiado (http://www1.folha.uol.com.br/educacao/2017/11/1937836-sp-pagara-a-entidade-que-cumprir-meta-e-evitar-evasao-no-ensino-medio.shtml), instituições privadas e organizações sem fins lucrativos vão propor intervenções que auxiliem  o Governo do Estado de São Paulo a elevar os índices de aprovação e reduzir a evasão escolar no ensino médio.

A princípio, serão selecionadas 122 escolas da região metropolitana do Estado.  Dessas 122 escolas, metade (61 escolas) vai receber uma intervenção proposta, e as outras 61 escolas vão servir como um parâmetro de comparação. Importante ressaltar que a seleção dessas escolas deverá obedecer a critérios técnicos para garantir que essa comparação seja feita de forma adequada.

Após um período determinado no processo licitatório, será feita uma avaliação de impacto das intervenções propostas, mensurando o tamanho do efeito de cada intervenção. A remuneração das contratadas vai ocorrer apenas nos casos em que forem identificados efeitos positivos desejados em uma dimensão relevante, definida por meio de metas.

Logo após o lançamento dessa consulta pública, muitas críticas foram feitas e algumas questões sobre como será operacionalizado esse processo foram colocadas. Em resumo, essa inovação proposta pelo Governo do Estado recebeu críticas principalmente em dois pontos: primeiro pela metodologia que será empregada na aplicação das intervenções e na consequente avaliação que será produzida; o segundo ponto de discussão é a forma de remuneração das instituições que vão fazer as intervenções.

As críticas mais comuns acerca da metodologia questionaram o fato de deixar alunos de 61 escolas sem receber o tratamento ofertado aos alunos das outras 61 escolas. Na visão de alguns, isso criaria mais uma disparidade no sistema de ensino e seria injusta com os alunos das escolas que não forem sorteadas para receber a intervenção.

Quanto a esse ponto, podemos afirmar com alto grau de certeza que a metodologia de avaliação de impacto proposta é exatamente a mesma que é aplicada no mundo todo para calcular o impacto de intervenções nas mais diversas áreas, sejam na saúde, educação, habitação, etc

Ao contrário do que se disse e tendo em vista que os recursos financeiros são escassos, essa estratégia de avaliação não é injusta porque a ideia é fazer a intervenção como um projeto piloto e, caso ela demonstre ser efetiva, a política pode ser ampliada para toda a rede.

Para ilustrar esse argumento, imagine que você queira expandir o exemplo da Escola da Ponte (https://pt.wikipedia.org/wiki/Escola_da_Ponte), mas para isso o governo peça que você demonstre que os efeitos positivos deste tipo de escola podem ser obtidos na rede de ensino como um todo, e não apenas em uma unidade muito específica. Como você faz?
Primeiro você busca recursos humanos e financeiros para implementar esse projeto. Mas como recursos não são infinitos você sabe que tem que obter o suficiente para implementar o projeto em pelo menos 30 escolas (esse número mínimo pode variar de acordo com o objeto de estudo).

Em seguida você identifica as 30 escolas da rede, considerando que nesse grupo deve haver alguma heterogeneidade, e que as escolhidas possuem as condições necessárias para que o modelo Escola da Ponte funcione. Essas escolas serão o piloto da política pública que você quer implementar, isso é chamado de Grupo de Tratamento.

O próximo passo é identificar na rede outras 30 escolas que tenham características semelhantes às escolas do Grupo de Tratamento, isso é feito para que você possa ter uma base de comparação. Essas escolas serão chamadas de Grupo de Controle e não receberão a intervenção que você está propondo.

Ora, mas se eu acredito que o modelo da Escola da Ponte é uma boa política, por que não fazer isso nas 60 escolas?

Primeiro porque mesmo que você tenha alguma informação sobre casos de sucesso de algumas escolas que seguiram o modelo da Escola da Ponte, ainda não há como saber se esse modelo funciona apenas em condições muito específicas, ou se ele pode mesmo ser aplicado em toda uma rede de ensino. Então você faz um piloto em um número maior de escolas, com características heterogêneas, para saber se esse projeto pode ser aplicado na rede de ensino.

Se os resultados forem positivos, você terá segurança de que os recursos necessários para expandir essa política para todas as escolas da rede vão trazer o retorno esperado. Porém, se na pesquisa você identificar que os resultados positivos são obtidos apenas em casos específicos, ao fazer o piloto você evitou que recursos fossem empregados em larga escala, sem provocar os efeitos esperados na rede como um todo. Ou seja, você evitou desperdício de recursos públicos.

Segundo porque o modelo da Escola da Ponte é apenas um exemplo dentre várias experiências em educação que foram aplicadas em estudos de caso. Imagine se o governo fosse adotar todos os modelos que são sugeridos. Seria possível fazer isso na rede toda de uma só vez? A resposta é não.

Mas, seguindo esse modelo, os alunos das escolas do grupo de Controle não serão prejudicados?

Não, os alunos das escolas que compõem o grupo de controle não perdem nada do que já recebem, mas apenas não ganham o benefício extra que é oferecido às escolas do grupo de tratamento. Esse grupo serve para mensurar o que teria acontecido com os alunos das escolas de tratamento, caso não houvesse o tratamento. Isso é chamado de contra-factual.
Para fazer a mensuração dos efeitos do modelo Escola da Ponte, os pesquisadores vão coletar dados nas 60 escolas, em três momentos distintos: antes das intervenções começarem; ao longo da execução do projeto; e ao final de um período no qual se espera que a intervenção tenha provocado os efeitos esperados.

Por meio da comparação da evolução dos dois grupos será possível identificar qual o efeito real do tratamento para então saber se é possível e se vale a pena expandir o modelo da Escola da Ponte para toda a rede de ensino.

Se os resultados forem positivos, você terá elementos para convencer o governo a adotar a mesma política em toda a rede de ensino, e assim beneficiar todos os alunos da rede.
O segundo ponto que também foi muito questionado refere-se à remuneração das instituições, que será feita apenas para as que obtiverem resultados positivos.
Esse ponto merece bastante atenção porque pode afetar a implementação das intervenções, uma vez que a pressão sobre as escolas do grupo de tratamento será maior do que já ocorre naturalmente nesse tipo de estudo. Segundo porque, se não houver um controle muito rígido, pode haver influência no cálculo do impacto.

Uma solução para isso seria criar uma comissão de pesquisadores da área para selecionar apenas instituições que estejam propondo intervenções que a comissão entende que vão dar o resultado esperado, e pagar pela intervenção em si. O risco para o governo estaria limitado ao valor empregado nessas intervenções. Se os resultados não forem os esperados será necessário verificar se houve problema na implementação, ou se a intervenção não é efetiva como se esperava. Porém, se o efeito for positivo, o governo poderá expandir a política para a rede de ensino, sem maiores riscos de má gestão dos recursos públicos.

Corrupção vs. Instituições

Semana passada a coluna publicada por Monica de Bolle, economista que admiro muito e escreve semanalmente para o Estadão, comentou sobre um livro publicado por Daron Acemoglu e James Robinson chamado Why Nations Fail: The Origin of Power, Prosperity, and Poverty. O livro fala sobre a importância das instituições no contexto da distribuição de recursos dos países.

Aproveitando a deixa da Professora de Bolle e do momento de crise política que estamos passando, resolvi dedicar esse post do blog para comentar também sobre o quanto instituições fortes são essenciais para o crescimento.

Em um artigo chamado Reversal of Fortune: Geography and Institutions in the Making of the Modern World Distribution, Acemoglu discute em primeiro lugar o que ele chama de “geographic hypothesis”, que busca relacionar os padrões de produtividade e prosperidade econômica com aspectos da geografia e clima de cada país.

Rebatendo essa hipótese, Acemoglu defende a “institutions hypothesis”, explicando que o processo de colonização europeia causou grande mudanças na organização social de várias comunidades ou civilizações. De acordo com o autor, locais prósperos e com atividades econômicas complexas, como os Incas ou Astecas, sofreram um processo de reversão institucional depois que os europeus introduziram instituições extrativistas. Acemoglu mostra que, além das mudanças econômicas causadas pelas transformações institucionais por volta de 1500, a qualidade das instituições passou a ter ainda mais importância quando surgiram novas tecnologias que necessitavam investimentos de vários setores e áreas sociais. O autor considera que as instituições de qualidade políticas, econômicas e sociais, garantem o direto de propriedade de toda sociedade e a segurança dos investimentos, ao contrário da presença das instituições extrativistas, que fazem com que parte da população esteja sujeita a uma elite governante, riscos de expropriação, etc.

Para confirmar a “institutions hypothesis”, Acemoglu usou dados de urbanização, densidade populacional além de variáveis relacionadas a instituições como um índice de riscos de expropriação por parte do governo e uma proxy relacionada à concentração de poder político.  Ele conclui que essa reversão institucional ocorrida em alguns países foi o que causou a mudança nos padrões de renda.

Aplicando os resultados desse estudo para o nosso contexto, a corrupção – cada vez mais em evidência – não somente compromete a economia por subtrair diretamente dinheiro público, mas também compromete o crescimento do Brasil por fragilizar as instituições. Um dos fatores causadores disso, segundo Acemoglu, é a herança que nos foi deixada com a colonização portuguesa. Por isso, como a própria Monica de Bolle colocou em sua coluna, é preocupante atropelar projetos no Congresso, como a Reforma da Previdência, em um momento em que as instituições políticas estão tão enfraquecidas. O mais importante agora é realizar reformas que fortaleçam as instituições, a começar pela reforma do sistema político-eleitoral.

Tecnologia móvel na floresta

Foto: Edilson Villegas Ramos / ISA

Ocupando 59% do território brasileiro, a região amazônica é de suma importância para o futuro ambiental do planeta. O destino desse ecossistema também está intimamente ligado ao bem-estar das comunidades indígenas que o habitam. Segundo a Rede Amazônica de Informação Socioambiental Georreferenciada, os 2.344 territórios indígenas e 610 áreas protegidas dos nove países amazônicos armazenam 55% do carbono existente em toda a floresta (em torno de 47,3 bilhões de toneladas de carbono) (WALKER ET AL, 2014). Enquanto isso, mais da metade da Amazônia (4,2 milhões de km2) está ameaçada por fatores como o desmatamento ilegal e a expansão da agropecuária (WALKER ET AL, 2014). Neste contexto, o engajamento das comunidades indígenas se torna uma medida essencial de preservar a floresta e reduzir as emissões de gases de efeito estufa. Desde o ano passado, a Plan está auxiliando o Instituto Socioambiental (ISA) a organizar, implementar e analisar um levantamento censitário que garante que comunidades do Alto e Médio Rio Negro no Estado de Amazonas protagonizem a definição e elaboração de Planos de Gestão Territorial e Ambiental (PGTA).

O nosso envolvimento começou com a revisão técnica de uma série de questionários elaborados pelo ISA e a adaptação desses para o Open Data Kit (ODK), uma plataforma que permite a coleta de dados via celular ou tablet mesmo sem conexão à Internet e o eventual envio dos formulários preenchidos para um servidor online. Além de perguntar sobre informações demográficas e socioeconômicas, os questionários incluíram a captura de fotos e as coordenadas geográficas de comunidades, sítios e lugares sagrados em toda a região. Uma vez preparados os questionários, a equipe do ISA realizou um treinamento para dezenas de pesquisadores indígenas em São Gabriel da Cachoeira. Ao longo de cinco meses, essa equipe realizou 369 entrevistas coletivas (com as comunidades e sítios) e mais 3.523 com as famílias, totalizando 29.581 pessoas alcançadas pela pesquisa, assim constituindo o maior levantamento de dados na região desde a demarcação dessas Terras Indígenas nos anos 90.

Com a conclusão da fase de coleta, iniciamos o trabalho considerável de limpar e organizar os dados em planilhas, bem como desenvolver um mapa interativo com detalhes e fotos das comunidades e sítios. A partir das planilhas, produzimos relatórios que reportaram os resultados do levantamento segundo vários recortes geográficos e de grupos étnicos estratégicos. Também fizemos cruzamentos estatísticos para verificar a correlação entre diferentes variáveis. O ISA já realizou oficinas em São Gabriel da Cachoeira com base nesses dados e os achados do estudo ajudarão as comunidades a identificar prioridades para os futuros PGTAs.

Além desse projeto, estamos apoiando outra iniciativa do ISA que envolve 50 pesquisadores indígenas (Agentes Indígenas de Manejo Ambiental) no monitoramento de mudanças ambientais e climáticas em três municípios rio-negrinos (Barcelos, Santa Isabel do Rio Negro e São Gabriel da Cachoeira). Os sete questionários georreferenciados abrangem temas como a fauna e flora da floresta, bem como a incidência de doenças nas comunidades, a condição de roças e observações diárias da temperatura e tempo. Em alguns locais da região, o estudo dos ciclos climáticos já acontece há mais de 10 anos, mas o uso de tablets para coletar os dados vem facilitar e acelerar o trabalho dos pesquisadores, ao mesmo tempo que reduz erros de inserção de dados e oferece novas possibilidades de registros fotográficos e geográficos. Junto com o PGTA, a colaboração da Plan nessas duas iniciativas do ISA contribui para empoderar os povos indígenas na gestão e proteção das suas terras, assim promovendo um futuro sustentável para um dos mais importantes ecossistemas do mundo.

Tia, entendeu ou quer que eu desenhe?

Para aqueles que acompanham o trabalho da Plan não deve ser novidade o fato de que nós avaliamos projetos que tratam de vários temas e envolvem públicos bastante diversificados. A lista de perfis profissionais que participaram dos nossos trabalhos de campo já incluiu: empresários, trabalhadores de chão de fábrica, pequenos agricultores, proprietários de grandes fazendas, coordenadores de projetos sociais, beneficiários desses projetos e por aí vai.

Além da diversidade de posições ocupacionais e estratos de renda, as idades também são muito variadas e incluem até crianças. Já trabalhamos com projetos cujos beneficiários estão cursando o Ensino Infantil (até 6 anos de idade) e crianças que estão atravessando esse processo tão crítico que é a alfabetização (1º ano do Ensino Fundamental).

Quando as crianças são justamente o centro de um projeto, como podemos envolvê-las no trabalho de campo? Como entrevistar essas pessoas que estão desenvolvendo as diversas formas de se expressar?

Orientados por nossa consultora e educadora Gisela Wajskop, que se inspirou em estudos da Sociologia da Infância (Pinto & Sarmento, 1997, 1999; Corsaro, 2011), realizamos conversas em grupo (“grupos focais”) com crianças utilizando técnicas de observação seguidas de atividades de desenho. As crianças utilizam formas específicas de representação e simbolização do mundo que ultrapassam os limites da linguagem codificada em fala e texto. Se quisermos entender o que pensam e lhes darmos voz, o discurso adulto de perguntas e respostas estruturadas pode não ser o meio mais eficaz. As conversas com crianças requerem uma abordagem própria, ajustada a sua visão de mundo curiosa, especulativa, aberta, imagética, daí a opção pela utilização do recurso visual.

Os desenhos são meios riquíssimos de comunicação que podem incluir não somente objetos, mas também movimentos, sons e sentimentos. Ao tentar representar pessoas ou lugares, por exemplo, as crianças desenham o que elas sabem, ou seja, elas mostram uma versão do que elas veem. Ainda que enfrentem dificuldades para incluir em seus desenhos técnicas mais regradas, como a perspectiva, elas inventam soluções para representar objetos com três dimensões (Anning, 1997). Essas soluções não são imediatamente perceptíveis para o adulto treinado na convenção mas fazem pleno sentido quando descritas pelas próprias crianças. Em um mundo dominado pela linguagem padronizada e normatizada, as crianças entram em um território muito mais livre ao trabalhar com materiais de linguagem expressiva, como papel, lápis, giz de cera ou até massinha de modelar.

O desenho acima mostra o entendimento de um aluno de 7 anos sobre um aplicativo de apoio ao letramento utilizado por sua turma. A primeira versão desse aplicativo contava a história do Motogato, um entregador de pizzas que era ajudado por seu chefe, o Sr. Cachorrão, para escrever o endereço dos seus clientes. A criança destaca a expressão angustiada do Motogato tentando navegar pelo universo urbano congestionado chegando corretamente ao seu destino com as informações que lhe são passadas —lugar semelhante ao do próprio aluno face ao desafio de dominar o código da escrita no processo de alfabetização.

Já a ilustração abaixo, criada por uma aluna de 5 anos, reconta simbolicamente a história narrada no livro “Menina Bonita do Laço de Fita”, de Ana Maria Machado. No desenho, a aluna fundiu na mesma representação as características da protagonista do livro e também do coelho, a outra personagem, que não só se apaixona por ela mas quer poder ser como ela.

Elaborado durante a mesma atividade de leitura do livro “Menina Bonita do Laço de Fita”, o desenho abaixo chama a atenção para o direcionamento da atenção da criança. Embora não tenha reproduzido elementos que surgiram na história do livro, o aluno mostrou curiosidade e capacidade de observação ao desenhar elementos do ambiente escolar onde estávamos, incluindo até o meu tripé, que usei para apoiar a câmera filmadora e registrar toda a entrevista. Por mais interessante que pudesse lhe parecer o livro, a presença de um pesquisador estranho e seus instrumentos sofisticados de trabalho, totalmente fora de contexto na rotina de uma escola no interior do Ceará, decerto lhe chamou mais a atenção do que a história de um coelho que se apaixonava por uma menina. Não se pode tirar a razão desse menino de querer destacar essa descoberta em seu desenho.

Os desenhos, portanto, ao fazer despertar representações usando formas e cores podem revelar experiências das crianças com os livros e materiais didáticos, por exemplo, ou até mesmo suas opiniões e sentimentos em relação ao ambiente escolar ou familiar. Ademais, a simples observação das crianças ao criarem seus desenhos pode revelar muitas questões ligadas ao seu desenvolvimento. A intimidade com o lápis e giz de cera pode ser índice de habilidades motoras enquanto que o compartilhamento do material e interações entre as crianças durante a atividade também expõem habilidades sociais e emocionais.

Fontes citadas:

ANNING, Angela. Drawing Out Ideas: Graphicacy and Young Children. International Journal of Technology and Design Education 7. p. 219 – 239, 1997.

CORSARO, W. Sociologia da Infância. Porto Alegre: Artmed, 2011

PINTO, M. & SARMENTO, M. J. (Org.). As crianças e a infância: definindo conceitos, delimitando campos. In: As crianças: contexto e identidades. Braga, Portugal: Centro de Estudos da Criança, 1997.

WAJSKOP, Gisela. Linguagem Oral e Brincadeira Letrada nas Creches. Educ. Real., Porto Alegre, 2017.

Avaliar melhor para reduzir a pobreza

Em seu livro Poor Economics, Esther Duflo e Abhijit V. Banerjee se inserem em uma discussão acalorada sobre como acabar com a pobreza no mundo. O debate entre Jeffrey Sachs, da Universidade de Colúmbia (End of Poverty, 2005), e William Easterly, da Universidade de Nova Iorque (The White Man’s Burden, 2006) transcorre há mais de 10 anos em torno da eficácia da ajuda internacional. Sachs, que além de professor é enviado especial das Nações Unidas na África, defende que a assistência deve ser prestada em grande escala e que isso não só vai elevar o nível de desenvolvimento de países pobres, como é uma obrigação dos países desenvolvidos promovê-la. Já Easterly, ex-gerente do Banco Mundial, discorda, afirmando que o uso indiscriminado dos recursos da cooperação internacional leva a corrupção e péssimos incentivos para os países que recebem o dinheiro, mantendo-os com níveis baixos de desenvolvimento humano.

Já o livro Poor Economics, Esther Duflo e Abhijit V. Banerjee, não trata a questão do assistencialismo por si só como um problema ou uma solução para o subdesenvolvimento. O argumento principal da obra é que precisamos estimar bem o impacto dos projetos por meio de experimentos, para sabermos exatamente quais ações reduzem a pobreza e em que medida. A ajuda internacional seria mais eficaz quanto mais se conheça as causas da pobreza no contexto do país receptor, possibilitando assim a aplicação de uma estratégia que comprovadamente funcione para atacá-las. Na Plan corroboramos essa visão, acreditando ser necessário alocar os recursos de forma ótima na cooperação internacional, aprendendo com avaliações anteriores, bem como tratar a pobreza como um fenômeno dinâmico, sensível a contexto e multidimensional.

Nesse espírito, terminamos recentemente um estudo de desenho semi-experimental medindo o retorno para a sociedade da rede de Centros Urbanos de Cultura, Arte, Ciência e Esporte (CUCAs) de Fortaleza. Esses centros são equipamentos públicos onde pessoas de 15 a 29 anos podem praticar esportes, ter acesso à cultura, como teatro e dança, e atendimento psicossocial com auxílio de pessoal especializado no desenvolvimento pessoal do jovem para melhor formá-lo para o mundo.

Procurando estimar como a participação nos CUCAS afeta o futuro dos jovens, realizamos encontros, debates e entrevistas para entender melhor os processos de transformação pelos quais esses jovens passam ali. Em seguida aplicamos questionários padronizados com amostras aleatórias representativas de pessoas participantes e não-participantes do programa. Como não havia linha de base para comparação, tivemos de fazer aproximações para poder estimar o que havia mudado na vida desses jovens em termos de competências socioemocionais, além de qualificação profissional, autoestima, perspectiva de futuro, mudanças de comportamento e valores, entre outros resultados que se esperava que o programa obtivesse. Desenvolvemos técnicas de perguntas para que as pessoas reconstruíssem como estavam há 3 anos, antes de a Rede CUCA ser implantada, e se comparassem com o momento atual.

Com os dados em mãos, utilizamos a técnica de diferenças das diferenças, que compara as evoluções dos grupos controle e tratamento em dois momentos do tempo. Quando observamos as duas diferenças, a primeira entre o grupo tratamento antes e depois do CUCA, e a segunda entre o grupo tratamento e controle nos mesmos momentos, podemos estimar o impacto do programa considerando que ambos foram expostos a uma gama semelhantes de fatores externos. Ao final, demonstramos, por exemplo, que as probabilidades de os participantes do programa terminarem o ensino médio e tentarem ingressar no ensino superior são significativamente maiores que a de outros jovens.

Para estudar o impacto financeiro do CUCA sobre os rendimentos de seus participantes, utilizamos os resultados das regressões e os multiplicamos pelos valores apurados pelo IBGE para as faixas de renda associadas a cada nível de escolaridade. Como os resultados das regressões indicaram que os frequentadores do CUCA tendem a ter escolaridade mais alta do que a do grupo de controle, é de se esperar que os rendimentos daqueles seja consequentemente maior. A soma desses recebimentos futuros representará um retorno de valor para a sociedade de aproximadamente 3 vezes o montante investido na Rede CUCA.

Com esse estudo pudemos contribuir mostrando que a Rede CUCA pode trazer não só diversão, esporte e cultura para jovens de Fortaleza, mas também trabalho e renda, reduzindo a pobreza. Com o possível ganho de longo prazo medido para os recebimentos do trabalho em um número significativo de casos (foram 263.409 participantes de atividades do CUCA nos últimos 3 anos), a região pode desenvolver novos empregos, movimentar mais bens e estimular a própria economia, melhorando a vida não só daqueles que receberam as vantagens do CUCA, mas também de todos em volta.

As avaliações que combinam análises qualitativas com experimentos controlados para estimar a eficácia dos programas sociais voltados aos grupos mais pobres têm peso crescente no portfólio da Plan, com projetos de grande escala em curso no Nordeste rural do Brasil voltados ao desenvolvimento infantil e à geração de renda no campo. Por meio destes, conforme defendem Duflo e Banerjee, contribuímos para escolher as estratégias mais eficazes de redução das pobrezas; por meio daquelas, entendemos como operam e como os pobres as vivenciam, fornecendo elementos para que sejam adaptadas pelos governos a seus contextos locais.

Fontes:

Esther Duflo & Abhijit V. Banerjee, “Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty”; 2011, PublicAffairs

Esther Duflo, TED Talk, “Social Experiments to Fight Poverty”; https://www.ted.com/talks/esther_duflo_social_experiments_to_fight_poverty

Jeffrey Sachs, “The End of Poverty: How We Can Make It Happen In Our Lifetime”; 2005,             Penguin Press

William Easterly, “The White Man’s Burden: Why the West’s Efforts to Aid the Rest Have Done So Much Ill and So Little Good”; 2006, Penguin Books

Impact Bonds: avaliando o financiamento privado de programas sociais

Pela primeira vez em um país em desenvolvimento, na Colômbia, foi lançado um “Social Impact Bond” (SIB). O programa patrocinado pelo título de dívida tem como objetivo ajudar 514 indivíduos classificados abaixo da linha de pobreza ou desalojados devido ao conflito interno que vive o país a encontrar trabalho. O foco são pessoas formadas no ensino médio, com 18 a 40 anos, que, na data de início do programa, não possuíam emprego. Financiado em 50% pelo governo do país e 50% pelo governo da Suíça, por meio de agências internacionais de apoio em parceria com o Banco Interamericano de Desenvolvimento (BID), a trajetória do SIB vem sendo acompanhada de perto pela Instiglio, organização sem fins lucrativos, dedicada ao desenvolvimento de Impact Bonds em todo o mundo. A consultoria Deloitte será a responsável pelas avaliações independentes necessárias neste processo.

O Impact Bond é um sistema de financiamento de políticas de interesse da sociedade. Além do SIB, há também o Development Impact Bond (DIB), que já é utilizado em outros dois países em desenvolvimento, Peru e Índia. Tanto SIB como DIB possuem a mesma inspiração financeira. Um operador privado aporta o capital inicial e assume o risco do investimento. Caso tenha sucesso na avaliação de impacto feita por um organismo independente, o governo ou garantidor privado cobre seu investimento e uma margem de lucro pré-definida. A maior diferença entre SIB e DIB é o financiador final; no primeiro, este é o governo, enquanto no DIB o financiador é uma instituição garantidora privada.

Para os avaliadores profissionais, a parte que chama mais atenção é o fato de o sistema depender de medições externas, independentes dos dois agentes principais do contrato, para certificar a eficiência e os incentivos corretos na prestação dos serviços propostos pelos Impact Bonds. No caso do DIB peruano, a intervenção é um suporte para o cultivo de cacau pela população indígena em áreas da Amazônia. O objetivo é aumentar a produção e o retorno financeiro da população da região com a commodity. A medição é feita com uma linha de base, definida no início do tratamento, e com indicadores medidos durante e após a intervenção. No entanto, as medições nesse caso não possuem grupos de controle, o que pode gerar distorções na análise dos dados.

Brookings

Já na Índia, o primeiro caso de um DIB para educação ocorreu no Rajastão. O projeto é direcionado para educação de meninas, um problema fundamental no país asiático e outros lugares do mundo, onde muitas vezes mulheres são impedidas pelas próprias famílias de ter qualquer tipo de educação. O projeto consiste em dar suporte à ONG Educated Girls, que tem como objetivo aumentar a assiduidade na escola, as notas e diminuir a taxa de evasão de meninas e meninos. O projeto inclui equipe que vai de casa em casa conversar com pais e mães para convencê-los a matricularem seus filhos e, principalmente, filhas nas escolas.

O sistema de medição de impacto do projeto de educação na Índia tem formato diferente do peruano. Além da linha de base, a empresa de consultoria IDinsight, contratada para fazer a avaliação de impacto externa, utilizou a base de escolas da ONG Educate Girls para formar um grupo controle que não receberia o tratamento, sendo mantido para comparação. Como as escolas da base de dados foram escolhidas de forma aleatória para o grupo controle e tratamento, podemos dizer que a avaliação tem formato experimental, e que, portanto, se presta a determinar se o tratamento efetivamente causou o impacto observado.

Fonte: Instiglio

No caso peruano, como estamos falando de uma avaliação com comparação entre linha de base e resultado final, sem grupo controle, fatores não observáveis podem gerar problemas de inferência de causalidade. Um exemplo é o desempenho do mercado de cacau no mundo. Caso o impacto externo no mercado de cacau seja positivo, os indicadores serão impactados positivamente e não necessariamente esse impacto estará relacionado com o programa. A falta de grupo de controle será um problema em casos como esse, podendo premiar (ou não) o controlador do programa devido a fatores que ele não controla, reduzindo a validade da avaliação e possivelmente causando futura desconfiança em novos acordos na região.

Já o formato da avaliação de impacto utilizada no DIB indiano não só utiliza grupo controle, como escolhe grupos controle e tratamento por sorteio aleatório. Primeiro, a utilização de um grupo controle permite que impactos provenientes de outras fontes que não o programa possam ser retirados dos impactos que observamos nos indicadores, deixando apenas aqueles relacionados ao tratamento. Nesse caso, por exemplo, uma melhora estrutural no sistema educacional da Índia seria identificada por tratamento e controle e não entraria na contabilidade do indicador final, que compara um com o outro. Segundo, as amostras serem aleatórias para grupos tratamento e controle traz mais eficiência ao avaliar os reais impactos do programa, mostrando impactos causais entre indicadores e tratamento.

Em suma, apesar de entender que nem sempre temos a possibilidade de fazer um sistema de avaliação de impacto com grupos tratamento e controle criados aleatoriamente, é importante sempre ter em mente possíveis formas de retirar da avaliação causas externas à intervenção que não deveriam ser contabilizadas.

Programas como os Impact Bonds são muito bem vindos para a melhoria do funcionamento e da prestação de serviços de interesse público e social no mundo, principalmente para países em desenvolvimento. O mais interessante desse sistema é ele buscar a eficiência por desenho, exatamente porque utiliza sistemas de medição para certificar que o serviço seja prestado e atestar a qualidade oferecida. Isso tudo tirando o ônus do risco das mãos do setor público e instituições financiadoras, além de jogar incentivos diretamente para o setor privado, que, de modo geral, lida bem com estas variáveis. Na Plan vemos com muito bons olhos iniciativas que valorizam a medição para garantir o maior impacto possível de uma intervenção, seja por parte do setor público ou privado.

Fontes:

  • Autonomous and sustainable cocoa and coffee production by indigenous Asháninka people of Peru. Field mission for the verification of impact indicators of the Development Impact Bond agreement CFC/2013/03/139FT: http://common-fund.org/fileadmin/user_upload/Verification_Report.pdf
  • Brookings Institute, https://www.brookings.edu/blog/education-plus-development/2016/07/18/educate-girls-development-impact-bond-could-be-win-win-for-investors-and-students/
  • Brookings Institute, https://www.brookings.edu/blog/education-plus-development/2017/03/31/colombia-leads-the-developing-world-in-signing-the-first-social-impact-bond-contracts/
  • Instiglio, http://instiglio.org/educategirlsdib/wp-content/uploads/2015/09/Educate-Girls-DIB-Sept-2015.pdf
  • Instiglio, http://www.instiglio.org/en/impact-bonds/
  • Instiglio, http://www.instiglio.org/en/sibs-worldwide/
  • William R. Shadish, Thomas D. Cook, & Donald T. Campbell; “Experimental and Quasi-Experimental Designs for Generalized Causal Inference”; Houghton Mifflin Company. 2002.