Daniel Brandão[1]

Rogério Renato Silva[2]

Nas rodas da Avaliação Educadora[3]

O holandês ao meu lado olhava a paisagem de mata derrubada.
Tirava fotos sacolejadas pelo caminho de terra. Saíamos de
uma reunião com seringueiros e lideranças comunitárias em
Rondônia. Encontro forte, muita fala, choros, gente morrendo
de morte matada dentro de reservas extrativistas. O holandês
pediu água (para beber). Estava impressionado. Ele era o
representante do fnanciador do programa e participava
pela primeira vez de uma reunião de base para discutir e
repercutir os resultados de uma avaliação. Um encontro para
validar, dar signifcado, criar a possibilidade de apropriação
ou refutação das informações levantadas. Um momento em
que a comunidade criava a condição de validade da própria
avaliação. O holandês, gente boa, vivia ali uma ruptura de
modelo. Deixava a concepção hegemônica da avaliação
externa, que penetra na vida dos indivíduos para informar
sujeitos dele distantes, que se encontram além mar, além
muro, além morro, além rio, mas que são os que decidem o
futuro dos projetos que impactam diretamente a vida daquele
mesmo indivíduo. Conversamos rapidamente sobre isso, mas
ele precisava de silêncio. Voltou a olhar a paisagem de árvores
tombadas.

A avaliação de práticas socioambientais no Brasil requer aprofundarmos rupturas. Vivemos ainda presos a um modelo avaliatório orientado pela lógica dos julgamentos externos e pela verificação do cumprimento ou não das intenções dos projetos, programas e práticas[4]. O campo social foi marcado pela concepção de que a avaliação estaria apenas relacionada a conhecer em que medida os objetivos de um projeto foram alcançados, ideia amplamente difundida por aqui nas décadas de 1970 e 1980, importada das terras do norte. Ainda que outros modelos procurassem valorizar a importância dos processos participativos para a autonomia dos sujeitos, a herança daqueles tempos deixou nos atores sociais a imagem de uma avaliação orientada pela lógica dos marcos e dos objetivos.

A história não para por aí. Às avaliações orientadas por objetivos (Worthen et al., 2004), somaram-se outras concepções utilitaristas. A entrada de novos atores na arena socioambiental, sobretudo os grandes financiadores corporativos, trouxe discursos e ferramentas pautadas por um furor de objetividade, eficácia, efetividade e eficiência. Foi esta onda avaliatória a responsável pela consolidação de modelos externos, quantitativos, somativos e supostamente neutros.
A avaliação, entretanto, resolveu guardar em si belezas e possibilidades bem maiores. A construção histórica desta disciplina[5] permite dizer que seu conceito encerra um imperativo fundamental – o conceito avaliação será sempre uma construção e terá tantos sentidos quantos lhe atribuírem aqueles que o constroem (Smith, 2007; Silva e Brandão, 2003) – e três elementos essenciais que se manifestam com diferentes intensidades. A medição, relacionada ao ato objetivo e muitas vezes quantitativo de medir as coisas, as variações e as mudanças. A descrição, que diz respeito ao ato de representar um objeto ou fenômeno, caracterizando-o em sua integralidade e multiplicidade e assim tendendo a operar pela via da linguagem qualitativa. O julgamento, elemento que dá identidade à avaliação, à medida que explicita que os processos de avaliação podem determinar o mérito e a relevância de um objeto ou fenômeno.
Afirma-se, assim, que a avaliação é a disciplina que se dedica a medir, a descrever e a julgar objetos e fenômenos. Neste caso em particular, medir, descrever e julgar intervenções de natureza socioambiental. Apesar das tensões irrefutáveis provocadas por esta definição, ela nos parece suficientemente consistente para ser sustentada na prática social e, ao mesmo tempo, confrontada com aquilo que gostaríamos de apresentar como seu segundo imperativo fundamental, ainda que tantas vezes invisível e mascarado. É sobre ele que queremos argumentar.

Quando nos lançamos a promover processos de desenvolvimento e, por sua vez, promover projetos políticos democráticos onde os sujeitos e as comunidades possam realizar seu potencial humano e social de forma ambientalmente sustentável, o exercício da avaliação contemporânea pede que se produzam aprendizagens. No extremo desta ideia, o desejo é que a palavra avaliação possa ser substituída pela palavra aprendizagem. Avaliar é aprender; avaliar as práticas ambientais significa aprender sobre elas. Avaliar os coletivos educadores significa aprender sobre eles. A pessoa avaliadora torna-se a pessoa aprendedora.

Antes de mais argumentos ético-teóricos, consideremos um exemplo em que um coletivo educador se veja diante da possibilidade/necessidade de realizar uma avaliação, de transformá-la em aprendizagem. Inicialmente o grupo se dedica a debater a seguinte pergunta: o que significa, para este coletivo, o conceito avaliação? Para explorar essa discussão, o grupo procura resgatar as experiências avaliatórias vividas por cada pessoa. Desde as escolares às avaliações de projetos já experimentadas, busca-se compreender o sentido, o resultado das experiências, as marcas impressas em cada pessoa, as aprendizagens e os princípios que sustentaram essas experiências. Neste diálogo se define o que é importante para o coletivo, que experiências não se quer repetir, o que se deseja realizar e, por fim, se pactuam propostas e caminhos que o coletivo deseja trilhar.

Avaliação, aprendizagem e ética

A relação entre avaliação e aprendizagem pode ser feita a partir de uma breve compreensão sobre o que significa aprender. Esta associação tem origem nos escritos do educador russo Vygotsky (Duarte, 2004), para quem aprender é o ato de se apropriar da realidade humana, do mundo que homens e mulheres criaram. Apropriar é, por sua vez, o ato por meio do qual o sujeito constrói capacidade para compreender, manusear ou produzir o objeto ou fenômeno social ao qual se dedica. Nesse sentido, podemos considerar que ao se apropriar do mundo, homens e mulheres o enxergam de maneira crítica, ampliando sua consciência sobre ele.

Pode-se afirmar que a tentativa de melhor compreender a atuação dos coletivos educadores é capaz de gerar uma situação de aprendizagem e que só se alcançará tal compreensão à medida que cada sujeito educador tornar-se um participante crítico e consciente de sua prática no mundo. Neste caso, ser consciente da própria prática está além de “saber bem o que se está fazendo”, visão que poderia ser tanto definida como simplista quanto armadilhesca. A consciência diz respeito a conhecer para além do que já se sabe, ou seja, avançar na compreensão das motivações que levam o sujeito a fazer o que faz, ou seja, a conhecer os porquês de sua ação. Ao mesmo tempo, significa observar profundamente a ação em si, suas limitações e suas forças, bem como construir um olhar sobre as consequências do que se faz. Percebe-se como se pode ir bem além do simples “cumprimento de objetivos”? Significa questionar-se a respeito do que a prática do educador produz no mundo, nas outras pessoas, na natureza e no próprio indivíduo que a realiza. O desafio para um denso e sério processo de olhar crítico sobre sua ação no mundo está na possibilidade de observarmos a nós próprios ao invés de olharmos apenas para a responsabilidade do outro. Porque nos perguntamos: o que isso tem a ver comigo?

Aprender torna-se o ato de construir consciência crítica a respeito da realidade. É aqui que as práticas de avaliação geram uma enorme oportunidade para que esta construção ocorra. Inserimos, assim, a avaliação como um elemento mediador entre o sujeito (ou os coletivos educadores) e a compreensão profunda e crítica de sua ação no mundo (projeto, programa ou prática). Avaliar é um ato de mediação dos processos de aprendizagem. Avaliar é ato educativo. Levar a ideia de que o ato de aprender deve ser parte da concepção da avaliação contemporânea exige ainda que mergulhemos em novos conceitos. Em certa medida, a ideia da avaliação para a aprendizagem pode ser classificada de pretensiosa e até mesmo fantasiosa. Estamos tão habituados com um olhar instrumental para a avaliação, que qualquer leitura ético-política do conceito pode ser considerada mais um devaneio que uma possibilidade. E o que você pensa sobre isso? Quais são as suas compreensões e desejos? De que tipo de avaliação você precisa? Indo além, como podemos tratar a aprendizagem como um imperativo da avaliação, quando falamos em valorizar a singularidade das experiências e a natureza democrática dos espaços coletivos?

O que queremos sustentar aqui é que a possibilidade de aprender contém o ato de conhecer criticamente o mundo, tomar pé da situação em que um sujeito se encontra, bem como enxergar as forças que levam a esta situação. Ou seja, observar as causas e consequências das ações e posições das coisas no mundo. Parece-nos que é esse processo que traz ao indivíduo a oportunidade de transformar a si mesmo e ao mundo. Assim, tem-se uma chance de desenvolvimento, de mover-se da situação em que se encontra e de avançar na infinita marcha por ser mais (Freire, 1970; 1996).

Ao aprender, o sujeito tem a oportunidade de desenvolver a sua vida como ser humano. É exatamente ao tocar o desenvolvimento da vida humana que mergulhamos no campo da ética (Dussel, 2002) e sustentamos de maneira ainda mais profunda a relação entre avaliação e aprendizagem. É o desenvolvimento da vida humana a base material a partir da qual qualquer formulação de juízos deve se estruturar. Esse circuito argumentativo nos permite concluir que a aprendizagem contribui com o desenvolvimento da vida do sujeito. Nas palavras de Brandão (2007), “aprender é um direito à vida”, é um ato ético relacionado à vida no Planeta Terra e, por isso, encontra lastro, encontra sustentação como um imperativo nos processos de avaliação de programas socioambientais[6].

As avaliações participativas

É seguindo essa argumentação que afirmamos também que há um princípio político-metodológico essencial na jornada da avaliação para aprendizagem: a participação. Como processo, é a participação que parece criar possibilidades para que aqueles e aquelas que participam de intervenções socioambientais possam avaliar para aprender. Ainda que existam várias outras abordagens avaliatórias (Worthen et al., 2004), tal como a já mencionada avaliação orientada por objetivos, elas guardarão sérias limitações frente às realidades com as quais os coletivos educadores se relacionam.

As avaliações participativas são aquelas nas quais “o envolvimento dos participantes, interessados no objeto da avaliação, é crucial para determinar valores, critérios, necessidade e dados da avaliação” (Worthen et al., 2004). Ao enfileirar-se com as questões éticas apresentadas anteriormente, a participação ajuda a definir o contorno do projeto político democrático que a avaliação vem apoiar.

Do ponto de vista técnico, a participação ganha novos contornos e demanda dos sujeitos novas competências. Os processos socioambientais têm natureza extremamente complexa e sua apreensão só será possível por meio de múltiplos olhares e linguagens. Em outras palavras, é a pluralidade de olhares que constrói a pluralidade da realidade. Se o olhar é estreito e restrito, o que se pode esperar das ideias e dos projetos? A participação é importante para que os objetos ou fenômenos sejam conhecidos de forma compreensiva. Será a participação, por sua potência de construir em comunhão, que irá agregar à leitura a precisão que se demanda dos processos de avaliação.

Retomando o exemplo dos coletivos educadores, ganha legitimidade e sentido o processo de avaliação no qual se depositam longas conversas e negociações em torno das perguntas: quem participa? Quem avalia? Quem toma decisões? Quem assume as consequências? Como são inúmeras as possibilidades, as lideranças comunitárias, os educadores e educadoras, a comunidade onde se atua, os parceiros e parceiras, os apoiadores e apoiadoras, o poder público, cabe aos coletivos educadores ponderar e fazer escolhas.

Neste processo de escolha é importante refletir sobre o fato de que as formas de participação podem variar. Um sujeito pode colaborar com comentários e sugestões, ser apenas um informante, debater os resultados, contribuir com recomendações ou tomar parte de todas as discussões e deliberações em torno da avaliação. Há um grau máximo de participação? Há uma imagem ideal? Não é possível saber. A realidade social nos desafia e dificulta sobremaneira a inclusão de todos os sujeitos nas decisões a serem tomadas. Portanto, é necessário enfrentar a questão: como cada ator participa?

O cuidado a ser tomado está em não cair no desejo de incluir a todos e todas sem considerar a viabilidade dessa intenção, que é variável direta de muitos fatores: a diversidade de atores, a dispersão geográfica dos mesmos, o tempo de maturação da intervenção socioambiental (recente, mediana, longa), os recursos físico-financeiros, os espaços e as tecnologias de comunicação disponíveis, entre tantos outros. Que participação é essencial? Que princípios a orientam?

Orientações para a prática: quem entra na roda da avaliação
educadora?

Os caminhos que um processo de avaliação pode tomar são muito diversos. O que escolhemos apresentar aqui é um conjunto de perguntas instigadoras que podem servir de guia nesta viagem. Como afirmam Freire e Faundez (2002), a força de trabalhar com perguntas está em sua natureza de instigação, na possibilidade de que elas coloquem em movimento os espaços e ideias onde são inseridas. Nas palavras de Kaplan (2002), as perguntas são como “instrumentos mágicos, são varinhas de condão que destrancam os segredos das situações sociais. Quanto maior a pergunta, mais ela revelará, e mais apurada tornará a nossa leitura”. A pergunta tem raízes na curiosidade e é elemento que pode criar e dinamizar espaços pedagógicos.

Para dar liga às perguntas, mantê-las em um movimento orgânico, procuramos trabalhar com a imagem da ciranda, da roda da avaliação educadora. A roda existirá a partir dos sujeitos (dos diversos atores interessados) e por isso é consequência da participação e da presença desses sujeitos. Não há roda teórica, não há roda ideal. O que há é aquilo que se produz com o encontro: será possível se lançar nesta experiência?

A partir da presença dos sujeitos, a roda ganha consistência ao agregar um extenso conteúdo ético-político. Na roda se depositam as experiências de avaliação dos sujeitos, suas expectativas em relação a seus projetos socioambientais, as posições que estão disputando, os parâmetros que os ajudarão a olhar e julgar o objeto valiado, seus desejos de investigação na forma de perguntas e suas linguagens e bagagens técnicas. A roda é uma arena política e é essa a mão-de-obra a ser trabalhada na avaliação. A Figura 1, a seguir, procura representar esta ideia.

Figura 1. A Roda da avaliação educadora

Uma das perguntas primordiais a serem trabalhadas na Roda diz respeito ao foco do processo, ou seja: O que será avaliado? Que perguntas queremos responder com essa avaliação? Esse é o passo para a busca daquilo que será a centralidade do processo de avaliação – educação dos interessados(as) no projeto. O esforço aqui está em buscar questões claras e estratégicas, que podem se revelar no conjunto de questões que o grupo irá propor. Ou seja, frente a enxurrada de perguntas, quais são essenciais, quais são complementares e, por fm, quais são as perguntas-chave? Com isso se chegará ao foco central. É importante dizer que as perguntas de avaliação devem ser restritas, pois uma amplitude de focos trará grande complexidade ao trabalho a ser realizado.

Para compor o cenário que permita responder ao que se quer investigar, muitas vezes faz-se útil a elaboração de certos recortes da realidade que permitam a construção de conhecimento sobre essa realidade. Geralmente denominados indicadores (variáveis ou critérios), a elaboração destes elementos tende a ser “precioso para o grupo, uma oportunidade para alinhar conceitos que estão presentes no discurso, mas nem sempre têm o mesmo significado para todos da equipe” (Silva e Brandão, 2003). O debate sobre indicadores é amplo e encontra uma de suas melhores ancoragens na sistematização oferecida pelo Grupo de Trabalho (GT) em Indicadores articulado pela NOVIB. O GT sugere que indicadores são ao mesmo tempo “instrumentos de mediação, na medida
em que são utilizados para captar aspectos dos fenômenos e processos da realidade social cuja totalidade é impossível apreender; e resultantes de múltiplas determinações, na medida em que estes atos de observação e análise, por parte de um sujeito, estão determinados pelas formas de percepção do real deste sujeito (…)”. Linguagens rebuscadas à parte, reside nessa passagem a concepção de que o indicador atua como prisma, como pista, como evidências ou códigos que nos permitem desvendar a realidade à qual a avaliação se dedica, ao mesmo tempo em que são produzidos por um conjunto de sujeitos e por suas formas de compreender essa mesma realidade. Em síntese: para cada pergunta de avaliação deve ser formulada a questão: quais são as pistas ou evidências que devem ser buscadas e, em seu conjunto, revelarão a resposta ao que investigamos? Assim se pode construir indicadores.

Devemos também reforçar a ideia de que indicadores são construções de cada coletivo educador. Cada grupo cria as referências que mais lhe parecem adequadas à sua realidade, necessidade, cultura e intenções. Indicadores são produzidos dentro dos coletivos e não fora, ou seja, não existem indicadores externos, apresentados ao grupo como aspectos que ele deva responder. Se o indicador vem de fora, o padrão é externo e, nesse sentido, é muito mais uma ferramenta de controle do que de aprendizagem.

Dado o passo desta construção de indicadores, avança-se e assim surgem novas questões para o processo, tais como: quais são as fontes de informação que precisamos? Como podemos levantar essas informações? Como podemos compreendê-las/analisá-las? O que fazer com essas informações? Estas questões apontam para o processo de levantar informações sobre o que se quer avaliar, sobre as fontes de dados e os métodos a serem utilizados. Nas práticas socioambientais, o caminho das conversas de grupo, acompanhadas de boa sistematização, é uma estratégia que guarda eficácia. Elas permitem, desde que bem mediadas, a oportunidade de se aprofundar leituras e compreensões da realidade ao criar espaços de interação entre sujeitos, muitos deles com poucas oportunidades de exposição de ideias, grupos que se conformam para além daqueles de retórica familiar.

Assim se avança na leitura do mundo e uma pergunta se apresenta: Qual a minha responsabilidade sobre isso? O que isso tem a ver comigo? Para mudar o mundo é fundamental (e extremamente desafiador) reconhecermos que é necessário mudarmos a nós próprios. Apontar para o outro é escapar de nossas trincheiras internas que criam nossos limites de desenvolvimento. É preciso, na análise do que a avaliação revela, reconhecer-se a própria ação realizada e suas consequências.

O exercício é difícil o suficiente para que seja trilhado em solidão. Aprender, desenvolver-se, ser mais, ampliar o alcance da vida, exige a presença do outro.

O holandês viajava em silêncio. Nem tanto pela diferença de
línguas e mais pelo desafio de compreender aquele universo
que cortávamos. Ele carregava dúvidas e certezas que seu
encontro com aquela gente do projeto lhe provocara. Estava
mexido pelas falas que pouco compreendera dos seringueiros.
Era uma nova fala. O holandês não estava sozinho em sua
caminhada de aprendizagem.

Referências e sugestões
BRANDÃO, D.B. Avaliação com intencionalidade de aprendizagem: contribuições teóricas para o campo da avaliação de programas e projetos sociais. Dissertação de Mestrado, 2007. Educação: Currículo. PUC-SP.
DUARTE, N. Vygotsky e o “Aprender a Aprender”: Críticas às Apropriações Neoliberais e Pós-modernas da Teoria Vygotskyana. 3ed. Campinas: Autores Associados, 2004.
DUSSEL, E. Ética da Libertação. 2ed. São Paulo: Vozes, 2002.
FREIRE, P. Pedagogia do Oprimido. 17ª Ed. São Paulo: Paz e Terra, 1996.
FREIRE, P. e FAUNDEZ, A. Por uma Pedagogia da Pergunta. 5ed. São Paulo: Paz e Terra, 2002.
KAPLAN, A. Artistas do Invisível: o processo social e os profssionais de desenvolvimento. São Paulo: Instituto Fonte; 2002.
MARINO, E. Manual de Avaliação. 2ed. São Paulo: Saraiva: Instituto Ayrton Senna, 2003.
NOVIB. Indicadores, ONGs e Cidadania: contribuições sociopolíticas e metodológicas. Curitiba: ADITEPP, 2003.
SCRIVEN, M. Evaluation Thesaurus. 4ed. Thousand Oaks, California: Sage, 1991.
SILVA, R.R.; BRANDÃO, D.B. Os quatro elementos da avaliação. Olho Mágico, abr./jun., 2003, v. 10, n. 2, p. 59-66. [disponível também na Internet em: http:// www.fonte.org.br.]
WORTHEN, B.R.; SANDERS, J.R.; FITZPATRICK, J.L. Avaliação de Programas Sociais. 1ª Ed. São Paulo: Instituto Fonte – Ed. Gente; 2004

[1] Sócio-fundador e Diretor Executivo da Move

[2] Sócio-fundador e Diretor de Pesquisa da Move até agosto de 2017

[3] Texto publicado no livro organizado por Ferraro Junior, L. A.: Encontros e Caminhos:
Formação de Educadoras(es) Ambientais e Coletivos Educadores – Volume 3
Brasília: MMA/DEA, 2013. Uma primeira versão deste texto foi publicada no livro “Desafos da Avaliação de Programas e Serviços em Saúde”, organizado por Campos, R.O e Furtado, J.F. Editora Unicamp, 2011.

[4] Esse texto irá citar, sempre em alternância, os termos programa, projeto e prática. Entendemos que os coletivos educadores podem encontrar situações caracterizadas por qualquer uma destas naturezas de intervenção.

[5] Michael Scriven, um dos maiores teóricos da avaliação, defende que esta prática deve ser assumida como
disciplina. Por isso esse termo será aqui utilizado.

[6] Apesar da breve discussão que realizamos aqui sobre o sentido ético da aprendizagem, esperamos que as
referências bibliográficas recomendadas possam servir ao estudo daqueles que se interessarem pelo tema.