Causalidade e Avaliação[1]

Nesta nota técnica lançada em 2011, procuramos fazer um recorte do tema Causalidade na Avaliação de Programas e Políticas sociais. Em tempos nos quais as organizações têm procurado maneiras de melhor compreender as consequências ou impactos de suas intervenções na sociedade, importa abrir espaços para ampliar nossas compreensões sobre causalidade, incluindo suas implicações paradigmáticas, ético-políticas e instrumentais.

Modelos causais: algumas considerações

O olhar para a questão da causalidade em Avaliação de Programas e Políticas sociais vai tanto nos exigir estudos no campo da epistemologia, da história e da filosofia das ciências, quanto no campo pragmático da ação cotidiana, sejamos gestores ou pesquisadores. Ao redor deste tema, o debate tende a ser caloroso e é palco de posições radicais entre os defensores de diferentes abordagens, com distinções claras entre as perspectivas qualitativas e quantitativas, ao ponto da expressão “guerra” ser cunhada para definir as disputas neste campo.

No centro nervoso deste processo encontra-se a perspectiva, defendida pelas correntes quantitativistas, de que apenas o modelo experimental, caracterizado pelo uso de grupos controle para comparar populações, seria capaz de observar efetivamente as produções geradas por uma intervenção na realidade social (projeto ou programa).

Os momentos de trégua e aproximação entre as distintas formas de conceber e responder a questões de causalidade são, eventualmente, quebrados por novas situações capazes de esquentar o já quente caldeirão. Em 2003, uma decisão do governo dos Estados Unidos de contratar apenas estudos que contemplem abordagens experimentais para a avaliação de programas federais provocou fortes debates e manifestações públicas entre os membros da American Evaluation Association.

Para fortalecer o movimento de orientação experimental pode-se também destacar a ação da Three Impact Evaluation, que investe milhões de dólares anualmente para premiar avaliações realizadas na perspectiva experimental. Em 2009, a mesma 3IE publicara a Carta do Cairo, na qual a perspectiva experimental para os estudos avaliativos era defendida histericamente.

No cenário brasileiro, não se pode afirmar o reconhecimento de uma orquestração em torno da primazia dos modelos experimentais, ainda que parte da política de avaliação do ministério da educação, bem como as correntes econométricas na avaliação em saúde, educação e assistência social, simbolizem opções metodológicas merecedoras das nossas atenções e críticas. Não é sem razão a ascensão deste pensamento. No cotidiano das organizações, é possível que cada leitor já tenha se deparado com uma pergunta como a que recentemente fez a diretora de uma fundação fluminense: “Tudo bem, eu fiz um projeto e eu quero fazer avaliação de resultados. Agora como vou saber se os resultados que você vai apresentar são consequência do meu projeto, resultados da minha ação?”

A pergunta feita pela Diretora explicita a busca em estabelecer uma relação de causalidade entre as ações e projetos desenvolvidos pela organização e os resultados obtidos. Para que frutifique a discussão sobre o tema Causalidade, portanto, seria prudente favorecer espaços em que possamos pensar no sentido de perguntas como essas na vida organizacional, bem como nas maneiras como as ciências têm procurado respondê-las. É neste sentido que caberá problematizar as direções políticas e metodológicas possíveis para se aproximar e compreender a realidade.

Para trazer elementos ao estudo da questão, pode-se partir do reconhecimento de alguns traços (ou condições) tomados como pontos de sustentação para responder ao imperativo da causalidade nas perspectivas do paradigma positivista. Como ponto de partida, há que reconhecer a gigantesca vontade de controlar os resultados das ações humanas sobre a realidade, no já conhecido tema do domínio da civilização sobre a natureza. Por isso mesmo, reconhecer o esforço das ciências clássicas para transformar toda a experiência humana em experimento científico, virada radical na relação entre homem e realidade, como bem observa Bondía (2001), em texto primoroso.

Neste lugar de experimento, as ciências positivistas irão sustentar a premissa de que o cientista será aquele capaz de observar e reconhecer (ou determinar) que A é a causa de B (A → B), e que a intensificação de A, ou sua supressão, determinará uma variação proporcional, e matematicamente determinável, de B (↑ A → ↑ B) ou (↓ A → ↓ B). O determinismo manifesta-se aqui em um pensamento unívoco, supondo condições experimentais em que A é a intervenção do pesquisador e B a sua hipótese (aposta). Desta leitura untada na ciência do século XVI, monumental ruptura com o obscurantismo a guiar a organização da sociedade ao longo da idade média – diga- se de passagem, emigramos para uma leitura que em certa medida procurava relativizar o determinismo anteriormente citado. A leitura probabilística dos eventos procurava anunciar aquilo que muitos cientistas passaram a chamar de pós-positivismo. Neste paradigma, assume-se que não se pode ao certo saber o que causou B. Ao mesmo tempo, se aposta na ideia de que a presença de A influencia a aparição ou o comportamento de B; ou melhor, aumenta a probabilidade do surgimento de B.

Foi Stuart Mill, filósofo e economista inglês, em seu System of Logic, de 1843, que apresentou as concepções radiculares dos estudos experimentais, ou seja, os estudos que procuram operar no âmbito do experimento prático, as concepções epistemológicas sustentadas no seio do positivismo. Apresentando o Método da Diferença, Mill afirma que um fenômeno particular pode ocorrer em apenas uma única instância (espacial-temporal), na qual existe um tipo de variável exclusiva a esta ocorrência. Segundo Mill, para estabelecer causalidade, três pressupostos seriam então necessários em complemento à “exclusividade da instância”: (a) a precedência temporal da causa sobre o efeito (A ocorre antes de B); (b) a existência de uma relação entre ambas (B varia em proporção a A); (c) todas as outras possíveis causas do efeito B podem ser descartadas ou refutadas. Como se pode perceber, Mill apostava na covariação entre causa e efeito, na direção linear entre causa e efeito e na eliminação de hipóteses alternativas.

Nessa direção, seria necessário descartar todas as outras hipóteses explicativas ou candidatas a explicar a realidade. Mill funda uma ideia de que a causa nunca pode ser comprovada diretamente, apelando a que a única maneira de inferir a relação de causa e efeito é a refutação das explicações alternativas. Com base nessa ideia de ciência, a lógica experimental passa a sustentar três requisitos básicos para definir um estudo no campo social: (i) a introdução da causa (variável independente) pelo pesquisador; (ii) o controle da situação experimental, para evitar interferências de outros fenômenos além dos pesquisados; (c) a designação aleatória das unidades para o grupo experimental e para o grupo controle[2].

É no sentido da sustentação destas premissas que se pode afirmar que a aplicação prática de modelos experimentais em avaliações de práticas sociais encontra diversas limitações objetivas, ora éticas (na definição de um grupo como controle), técnicas (no isolamento das variáveis) e financeiras (o grande investimento necessário para sustentar o método). Quando essas limitações são somadas a outras concepções de ciência, menos deterministas, emergem os modelos quase-experimentais.

Diferenciados dos tradicionais, tornaram-se caminhos centrais para a avaliação de programas e políticas sociais, como mostra a Figura 01. Antes, contudo, de tratar dessas alternativas, dois recortes de casos podem enriquecer a reflexão.

Caso 1: um projeto estimula assentados de reforma agrária a reflorestarem seus lotes e manejarem os recursos naturais com técnicas conservacionistas em um cenário que circunda um parque nacional brasileiro. A avaliação, iniciada quando o projeto já tinha muitos anos, buscou levantar informações (quantitativas e qualitativas) com os produtores rurais que participaram do projeto (tratamento), bem como com aqueles que não participaram (comparação) e que viviam nos mesmos lotes e, idealmente, eram vizinhos aos que tinham se envolvido com a iniciativa. As informações obtidas com os dois grupos foram contextualizadas e comparadas para apoiar a compreensão sobre o mérito do projeto que estava sendo avaliado.

Caso 2: uma avaliação busca conhecer os resultados de um projeto que atua junto a uma população de jovens de baixa renda e atua orientado para concepções de cidadania por meio de ações no contra-turno escolar. Para participar deste projeto foi necessário passar por um processo de seleção, uma vez que as vagas eram limitadas. No momento de fazer a avaliação o grupo de jovens selecionados (tratamento) foi comparado com um grupo de jovens não selecionados (controle), mas que se inscreveram para participar do curso. Este critério foi adotado para fortalecer a similaridade de perfil entre os dois grupos.

Quanto aos modelos quase-experimentais, é Campbell (1963) a reunir argumentos que colocam em cheque a validade dos modelos experimentais, propondo alternativas quase-experimentais. Bamberger et all (2006) oferecem uma boa compilação destes modelos, como resumido na Figura 01.Vale notar que, na concepção dos autores, os modelos são apresentados em ordem crescente de rigorosidade.

CLIQUE AQUI: Figura 1

Figura 01. Sete alternativas para modelos quase-experimentais.

Em conclusão, os modelos experimentais têm enfrentado críticas consistentes que precisam ser observadas com atenção. A primeira é sua pretensa concepção de que é o único modelo capaz de determinar a relação causal em uma situação social. um exemplo disso é sua apropriação do termo Gold Standard, atribuído aos estudos onde todos os requisitos para um desenho causal são seguidos. Conforme menciona Patton (2009), apoderar-se do critério máximo e assumi-lo como viável apenas em suas próprias condições e lógica de operação é sequestrar uma concepção de mundo onde o ouro só cabe a quem atua dentro dos limites desta perspectiva. Do ponto de vista técnico, garantir as condições experimentais, o que significa evitar o atrito, contaminação e outros problemas aqui não abordados, é tarefa impossível.

Outras trilhas: o naturalismo científico e a diluição das causalidades

Se um paradigma é um sistema de crenças acompanhado de métodos particulares de conhecer a realidade, como nos alerta Khun (2006), pode ser importante nos abrirmos à ideia de que parte significativa de nossas experimentações cotidianas podem estar inscritas num ou noutro paradigma, campo no qual se pratica certa forma de produção de saberes, certos valores e métodos; campos nos quais temos colegas colaboradores, bem como grupos com os quais reconhecemos profundas divergências.

Quando reconhecemos a existência de paradigmas diferentes, compreendemos também o quanto os mesmos são fruto da história da humanidade, de inúmeros movimentos na cultura humana que implicam saber e poder, conquistas e rupturas. Neste sentido, sustentamos a importância de não tomar o paradigma do outro, como hooligans tomam o torcedor da equipe adversária: um inimigo a ser subjugado e eliminado. Reconhecer os paradigmas que atravessam nosso cotidiano exige disposição para encarar o contraditório, as falhas e os limites de qualquer instrumental que se pretenda leitor da realidade.

Tratemos então daquilo que chamamos aqui, em livre tradução, do paradigma naturalista ou do naturalismo científico. Em primeiro lugar, propõe-se uma mudança na linguagem. Novas palavras podem significar aberturas para enxergar a realidade e compreendê-la também de forma nova. Novos conceitos são necessários para evitar velhas armadilhas.

Para além da mudança no vocabulário, importa sustentar que não cabe ao naturalismo científico tratar das relações entre os corpos e eventos pela via da Causalidade, do Determinismo ou da Probabilidade. Em busca de outras formulações, tomemos o Quadro a seguir como o anúncio de um conjunto de axiomas que traçam uma importante linha divisória entre o Positivismo e o Naturalismo Científico. Reparemos as inflexões da linguagem e dos pontos para os quais olhamos.

Figura 02. Divergências entre o Positivismo e o Naturalismo.

Ao lado destes axiomas, haverá uma série de implicações éticas, políticas e tecnológicas na orientação dos estudos naturalistas. Entre elas, a condição de que a experiência científica seja realizada em cenários naturais (daí sua nomenclatura), o que pressupõe proximidade, aculturamento, encontro e processo relacional entre pesquisador e pesquisado, aqui tratados, ambos, como sujeitos da pesquisa ou da intervenção. Percebamos a diferença entre ao experimento científico positivo, e a experiência científica natural, para além de semântica.

Outra condição é a ideia de que no naturalismo científico, o instrumento é humano, que o pesquisador interage, percebe, se vincula e escolhe; ele vive e é atravessado pela experiência da pesquisa. Entra em cena, portanto, o conhecimento tácito, a confiança, a censura, as expectativas dos sujeitos que se encontram. E não seriam essas uma série de mudanças bastante significativas?

Sustentados pelo método qualitativo, com ênfase no discurso e na interpretação, na memória e na prospecção, os estudos naturalistas trabalharão com amostragem intencional (não probabilística), com a análise indutiva de dados (como sustenta o vasto campo da Grounded Theory), com a emergência de desenhos, imagens, insights, com a singularidade de cada caso e, sobretudo, com a ideia de que a pesquisa alcança resultados que em si mesmos precisam ser objeto de negociação entre diversos sujeitos, propondo que o ato de pesquisa crie arenas nas quais a produção de um saber seja matéria prima para novas rodadas de implicação, conflitos, negociações, decisões e novas perguntas.

É neste sentido dinâmico e experiencial que os estudos naturalistas não operam com os mesmos padrões das ciências positivas, inúmeras vezes utilizados inadequadamente para criticar a suposta frouxidão naturalista. Não se reivindica no Naturalismo Científico a validade externa dos resultados (generalização), validade interna dos dados (Confiabilidade) e da técnica (replicabilidade), bem como a objetividade do método (Neutralidade). Navega-se no campo da reflexividade (um pesquisador que observa, experimenta e reconstrói o que vê), da implicação (que explicita seus supostos e valores), da triangulação (diferentes fontes e técnicas para acessar a realidade deem suas múltiplas dimensões), da Comparação (o diálogo entre os padrões emergentes em diferentes cenários e estudos), entre outros. Em síntese, trata-se de uma permanente construção de Confirmabilidade (o objeto se reconhece na pesquisa e as diferentes técnicas encontram traços comuns) e de Credibilidade fiados por valores democráticos a guiar a presença do pesquisador junto aos outros.

Interessa ainda pensar o conceito Influência. Navegando em outra trilha epistêmica, o conceito Influência emerge em alternativa à Causalidade. Parte-se de outras leituras nas relações entre os eventos A e B, não mais apontados como causa e Efeito. Reconhece-se algo além de A produzindo B. A influencia B que influencia A. mais ainda, outras variáveis, C, D, E, n, ocupam papéis tão relevantes quanto A, na influência de B, e a percepção destes fenômenos é tanto possível quanto limitada. A premissa da verdade como aproximação, como percepção, como construção parcial, sustenta fortemente esta corrente. As ideias de sinergia, bloqueio, apoio, obstrução, impedimento e permissão, operam de maneira relativa entre os eventos, implicam uma leitura complexa da dança das variáveis, não mais sustentadas de forma atomizada, não mais tomadas pela primazia da determinação unívoca e pela leitura totalitária da causalidade mecânica.

Tendo a Influência como operadora nas relações entre eventos, é possível que afrouxamento as fantasias de controle das causas e variáveis, sem desistir de compreender ou adotar posições de que “qualquer coisa serve” ou de que “tanto faz”. O desejo de produzir explicações sobre a realidade continua válido, mas explicações não causais pode levar a pensar a explicação mais como emergência de um entendimento, compreensão forjada na mistura entre o pesquisador e seu objeto.

Mais ainda, à medida que se reconhece que os atos de pesquisa e de avaliação são intervenções em um dado organismo social, encaramos também a experiência do ato avaliativo como gesto que influi no organismo e que dele recebe influência. Vejamos que nos distanciamos da posição de experimento neutro sustentado pelo positivismo, para apostar num ato avaliativo duplamente potente: como ato de encontro entre sujeitos na intervenção e ato de investigação da realidade.

Enquanto os modelos hegemônicos se apoiam no trinômio previsão-controle-aferição, a trilha naturalista vai pensar a intervenção como entendimento emergente na relação entre pesquisador e pesquisado, entre consultor e cliente.

Pressupondo uma posição em que o pesquisador respeita a realidade da qual se aproxima, três serão os princípios a sustentar esta prática: (a) o reconhecimento da atividade primordial do organismo, refutando a aspereza e presunção do conceito de marco Zero[3] ; (b) a escolha de dirigir a intervenção no sentido de permitir, favorecer, ativar, autorizar, facilitar a emergência de saberes, a circulação de poderes, os novos arranjos; (c) o cuidado de dirigir a intervenção a diluir, mascarar e contornar aquilo que bloqueia e constrange o processo de desenvolvimento do organismo.

Trata-se de uma intervenção que deseja que haja descobertas, encontros, rearranjos, e que tem, ao mesmo tempo, noção da sua falibilidade e limites. Aposta numa direção sabendo que ao intervir em um organismo esse ato mergulha numa dinâmica, numa cultura, numa trama discursiva que tenderá a capturar nosso ato para dele fazer algo; algumas vezes, algo bem diferente daquilo que a se imaginou.

Implica tratar a avaliação como algo que quer conhecer as consequências, as influências das nossas práticas, das práticas das organizações, na realidade que se quer modificar. Nesse sentido, ainda que as avaliações estejam pautadas em padrões de qualidade, como aqueles da American Evaluation Association, (a utilidade, a viabilidade, a precisão e a ética), o naturalismo científico nos convida a nos manter atentos para quão orgânica nossa prática de avaliação consegue ser. Enfim, um conjunto de escolhas entre posições diferentes, para as quais temos liberdade de navegar.

Referências bibliográficas

Bondía, Jorge Larrosa. Notas sobre a experiência e o saber de experiência. Conferência proferida no I Seminário Internacional de Educação de Campinas, traduzida e publicada, em julho de 2001, por leituras sme;textos-subsídios ao trabalho pedagógico das unidades da rede municipal de educação de campinas/ Fumec. unicAmP, departamento de lingüística, 2001.

Campbell, Donald t. & Stanley, Julian c. Experimental and quasi-experimental designs for research. Chicago: rand McNelly, 1963.

Cano, inácio. Introdução a avaliação de programas sociais. são Paulo. ed. Fgv; 2002.

Khun, Thomaz. A estrutura das revoluções científicas. 9ª edição. São Paulo: Editora Perspectiva; 2006.

Guba, Egon & Lincoln,Yvona. Naturalistic Inquiry. thousand Oaks/ london: Sage Publications. 1985.

Guba Eg, Lincoln Ys. Paradigmatic controversies, contradictions, and emerging confluences. In: Denszin N, lincoln YS editors. Handbook of qualitative research. 2nd ed.thousand Oaks: Sage Publication; 2000. p. 163-88.

Bamberger M, Rugh J, Mabry, l. Real World Evaluation.thousand Oaks/london: Sage Publications, 2006.

Alkin, Marvin c. Evaluation Roots – Tracing Theorists’ Views and Influences.thousand Oaks/london: Sage Publications, 2004.

Donaldson S, Patton M, G, Fetterman D, Scriven M.the 2009 Claremont Debates:the promise and Pitfalls of utilization-Focused and Empowerment Evaluation. Journal of Multidisciplinary Evaluation.Volume 6, No 13, 2010.

[1] Para alcançar alguns elementos desta desafiadora investigação, separamos nesta Nota alguns conteúdos a partir do debate Causalidade e Avaliação, realizada no lançamento da Move, em março de 2011, no Hub São Paulo.

[2] Por grupo tratamento entende-se aquele que recebe a intervenção (“tratamento”); grupo controle é aquele que, idealmente, assemelha-se ao grupo tratamento em todas as suas características à exceção de uma: não recebe o tratamento.

[3] Marco Zero é um suposto ponto de início de um projeto que antecede a intervenção, ponto no qual “nada” relacionado aos resultados esperados existiria, ponto a partir do qual toda a lógica da medição passa a se estruturar.