Potenciais e dilemas das avaliações centradas na opinião de especialistas

Rogério Silva[1]

Walquíria Tibúrcio[2]

Mariana Pereira da Silva[3]

Prólogo

Na televisão vive-se a febre do Master Chef, um dos muitos reality shows que povoam as telinhas na última década. Se do programa se pode depreender alguns dos segredos da culinária, chamam mais atenção os valores sobre os quais o show se assenta: um rígido processo de avaliação que nada deixa a dever às experiências humanas mais autocráticas movidas pela lógica de pressionar, apontar, condenar e excluir. O show deve continuar.

Os avaliadores são ali prestigiados Chefs du Cuisine. Além de exímios conhecedores dos métodos de cocção e da perfeita combinação e apresentação dos alimentos, eles sabem também das trincheiras da gestão contemporânea. Incorporando impressionante furor judicare[4], julgam segundo princípios que nos fazem relembrar Hamurabi[5]: (a) todo julgamento deve expor o sujeito ao ridículo do que ele não sabe; (b) só o mestre julga, porque só o mestre sabe; (c) todos os critérios de julgamento emergem do saber do mestre; (d) todo erro implica exclusão, jamais um lugar de descoberta e inflexão.

1. Sobre a trajetória das avaliações centradas em especialistas

As avaliações centradas em especialistas remontam aos modelos mais antigos e tradicionais de avaliação de programas e políticas públicas[i]. Apoiados na premissa de que o conhecimento técnico e a experiência prática de um determinado sujeito compõem um sólido conjunto de saberes capazes de assegurar um bom julgamento, aconselhamento ou opinião, inúmeros modelos avaliativos desenvolveram-se nesta direção, sendo de extrema utilidade em diversas circunstâncias.

Como o leitor reconhecerá em suas próprias experiências, a obtenção de um título de mestrado, a publicação de um artigo em revistas científicas, a eleição do melhor vinho ou mesmo a autorização para exercer certas profissões costumam advir da submissão do sujeito a um ou mais especialista, como nas bancas e painéis. Como nos revela a história, as avaliações centradas na opinião de especialistas são não apenas frequentes como também inevitáveis e tantas vezes oportunas.

Ao mesmo tempo em que tais avaliações são comuns, nos tocando ora como avaliadores ora como avaliados, é importante colocar tal perspectiva em análise, com vistas a evitar algumas de suas armadilhas e potencializar sua relevância. Se todo olhar avaliativo implica revelar méritos e limitações de um objeto, todo olhar avaliativo implica também estabelecer certa relação de poder entre avaliadores e objetos e entre avaliadores e sujeitos interessados.  Como evidencia o modelo Master Chef, incorrer em processos autoritários é risco permanente a qualquer avaliação, quanto mais naquelas assentadas em um olhar fortemente técnico e especializado. Como abrir caminho para que a avaliação torne-se um processo de aprendizagem onde o especialista seja convidado a somar e não apenas a cumprir um rito burocrático de aprovação ou reprovação?

Este ensaio foi escrito com o propósito de apresentar e problematizar as avaliações centradas na opinião de especialistas e tenta responder esta pergunta, tendo como pano de fundo os processos de seleção de projetos socioeducativos, como é o caso do Prêmio Itaú-Unicef[6], iniciativa da Fundação Itaú Social e do Fundo das Nações Unidas para a Infância (Unicef), coordenada pelo Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitária (CENPEC), instituição que estimulou a produção deste material.

2. Das expectativas em torno dos avaliadores

Sempre que uma pessoa é convidada a atuar como avaliador ou avaliadora em uma banca ou comissão julgadora, deposita-se sobre ela certo conjunto de expectativas que podem ser agrupadas em três categorias: (a) domínio do objeto avaliado; (b) olhar compreensivo e cuidadoso; (c) capacidade de emitir consistente juízo de valor. Analisemos então o sentido de cada uma delas na constituição do papel do avaliador.

2.1. O domínio do objeto avaliado

Assenta-se na premissa de que cada campo de conhecimento abarca certas realidades e práticas cujas nuances são melhor percebidas por um sujeito familiar a este campo, um profissional forjado nas mesmas disciplinas que se propõem a compreender tal objeto e, por isso, sensível e atento a sua natureza. Um exemplo quase irrefutável deste fenômeno pode ser encontrado nas bancas de especialistas que julgam o desempenho dos atletas em uma prova de ginástica  artística, por exemplo.

Os tipos de exercícios escolhidos pelo atleta, o controle dos movimentos, a sequência das manobras, o grau de dificuldade, as aterrisagens e as saídas são critérios percebidos de forma muito distinta por um especialista e um expectador neutro, leigo na disciplina da ginástica. Enquanto ao espectador cabe observar as manobras, empolgando-se mais ou menos com o desempenho do atleta, inclusive torcendo contra ou a favor dele, ao especialista cabe atribuir notas e definir quem será merecedor da medalha de ouro, decisão muitas vezes apoiada em pequenos detalhes.

Se alguém é convocado a julgar um projeto socioeducativo, por exemplo, responde a uma expectativa similar àquela que se tem para os juízes que analisam os ginastas. Espera-se que um especialista em educação ou proteção social esteja tão imerso nas disciplinas do campo, que só ele será capaz de perceber detalhes e formar juízos que um observador leigo no tema não poderá fazer. Ao combinar saberes teóricos e experiência prática, um especialista deve estar familiarizado o bastante com a natureza de um projeto, a fim de compreender seu funcionamento e cultura, o que lhe trará condições de perceber princípios e detalhes, potenciais e riscos.

Conhecer o objeto é condição fundamental para se posicionar como avaliador especialista, havendo grandes riscos para aqueles que se arvoram a medir o que não conhecem. Entretanto, o saber sobre um objeto não pode ser compreendido como reserva de mercado ou captura do direito de avaliar. Especializar-se em um objeto não requer necessariamente títulos acadêmicos tampouco é prerrogativa da academia. Se o exercício acadêmico é uma das possibilidades de construção do conhecimento, a experiência de trabalho e a permanente reflexão são condições possíveis para se produzir um avaliador especialista.

2.2. Olhar compreensivo e cuidadoso

De um especialista espera-se saberes e olhares que compreendam o objeto em suas várias dimensões. Se um especialista deve ser capaz de reconhecer resultados, deve também ser capaz de vislumbrar potenciais. Se é capaz de compreender referenciais e princípios, deve ser capaz de visualizar dinâmicas de poder e processos de trabalho. Se um especialista sabe delimitar e reconhecer um objeto, deve também ser capaz de compreender seu contexto. Para um avaliador, espera-se tanto precisão quanto paciência, perspicácia e curiosidade, numa somatória de fatores a produzir um olhar compreensivo e abrangente.

Ancorado em saberes e capaz de mirar com abertura e profundidade, espera-se finalmente que um avaliador especialista seja capaz de articular seus pontos de vista de forma respeitosa e clara com o objeto. Seja por posturas arrogantes ou desleixadas, bem como por discursos confusos e incoerentes, um avaliador especialista pode perder toda a força de seu argumento e a importância de suas posições. O saber, nestes casos, deve ser tributário de um estilo cuidadoso com o objeto e seus interlocutores.

2.3. Capacidade de emitir consistente juízo de valor

O especialista que estuda um objeto tem tarefa de grande envergadura e elevado grau de responsabilidade. Espera-se dele uma avaliação embasada em seu conhecimento técnico a respeito do objeto, o que é fundamental, mas nem por isso garantia de que ele irá emitir um juízo de valor consistente. A consistência necessária deve balancear o olhar técnico e o acolhimento da singularidade do objeto avaliado.

Ao tomar um objeto em estudo é necessário construir linhas de raciocínio que produzam questionamentos capazes de ampliar o olhar de quem observa. Neste exercício, o conhecimento que um avaliador acumula deve estar a serviço do objeto e não contra ele  O parecer emitido por um avaliador encontra consistência quando dá claros sinais de ser um parecer justo, equilibrado, cuidadoso, distanciando-se de opiniões impulsivas e rasas, ou de preferências que ignoram ou refutam o objeto.

A partir de um olhar consistente para o objeto, o avaliador deve realizar densa reflexão sobre seu papel no processo avaliativo que, como no caso do Prêmio Itaú Unicef, pode ser fundamental na aprovação ou não de um projeto. A capacidade de emitir consistente juízo de valor sobre determinado objeto é forte tributária de um processo de reflexão que deve estar embasado nos saberes técnicos e práticos do avaliador.

3. Os critérios de julgamento

Se a familiaridade com o objeto é condição fundamental para um avaliador especialista, isto não costuma ser suficiente para garantir avaliações equilibradas e justas, o que irá requerer a aplicação de critérios sólidos e explícitos. Um critério é uma característica que tem valor para o julgamento de um objeto. Tomemos, por exemplo, o interesse de uma diretora escolar em somar esforços com organizações da sociedade civil para a garantia de direitos das crianças e adolescentes de uma comunidade, ponto que pode ser bastante significativo para a avaliação de um projeto que visa fomentar parcerias. A experiência da diretora no fomento de ações conjuntas pode concorrer como característica que classifica o projeto como válido ou inválido, adequado ou inadequado.

Portanto, se os critérios são componentes centrais aos processos de avaliação, sempre haverá grandes desafios e tensões para defini-los. Em outras palavras, muita disputa costuma estar encerrada na definição de quem são os “donos dos critérios de avaliação”. Se na vida privada temos liberdade para eleger critérios a partir dos quais sustentamos nossas escolhas, quando se trata de avaliar objetos de interesse público, é crucial que os mesmos sejam pactuados com os diferentes sujeitos interessados no objeto. O exercício de definir critério é também técnico, mas essencialmente político.

Se nos ambientes democráticos é fundamental construir escolhas que considerem os diferentes sujeitos, a definição de critérios de avaliação deve seguir a mesma lógica. Não se pode esperar que o critério de alguns se sobreponha, pela força, ao critério dos outros, o que lança a avaliação num desafiador campo de diálogo e pactuação. Quanto mais diálogo, maior a clareza a respeito do que se vai avaliar, o que amplia a relevância da avaliação para os sujeitos e potencializa seu uso. Garantir critérios formulados em negociação possibilita um olhar menos sujeito à autocracia na qual as avaliações centradas em especialistas podem incorrer.

Tomando o exemplo do Prêmio Itaú Unicef, o chamado Caderno do Avaliador cumpre papel de importante ferramenta de apoio, à medida que traz os critérios de avaliação que devem guiar o olhar dos avaliadores especialistas. O caderno favorece o juízo de valor dos avaliadores à medida que oferece parâmetros comuns que balizam o olhar para os projetos, ação fundamental para criar certa harmonia dos olhares. Ao mesmo tempo em que se deve respeitar as singularidades dos projetos, o uso de critérios comuns minimiza o risco de escolhas baseadas em preferências pessoais. A explicitação de critérios não pode ser um fator a limitar os olhares, mas funcionar como a identidade do próprio processo de avaliação.

4. Responsabilidade: questão-chave

Enquanto a familiaridade com o objeto cria condições básicas para o trabalho do avaliador especialista e a explicitação de critérios amplia a relevância das avaliações, está na responsabilidade dos avaliadores o campo de maior articulação entre seus saberes e a realidade do objeto avaliado. A responsabilidade de um avaliador pode ser compreendida a partir de três exercícios importantes aos avaliadores. O primeiro exercício implica no acolhimento às singularidades do objeto avaliado, do interesse do avaliador em perceber como certos atributos teóricos manifestam-se de maneiras diferentes em cada objeto, o que requer olhares sensíveis para diferenciar o ideal do real, calibrando expectativas de quem “olha de fora”.

O segundo exercício implica a tentativa de enxergar não apenas o que está claro e visível em um dado objeto, mas também suas dimensões íntimas ou implícitas, invisíveis aos olhares apressados ou superficiais. As estruturas de poder, o contexto histórico, as premissas de trabalho, os compromissos tácitos e as relações externas perfazem um rico caldo de cultura e, por isso, merecem atenção de um avaliador especialista. Isso quase nunca apresenta-se com cores e brilho para os observadores.

Para além do que os objetos são, é fundamental que o avaliador especialista encare o trabalho de pensar o que as coisas podem ser dentro de algum tempo, sob determinadas condições. A leitura de tendências, a identificação de possibilidades, o reconhecimento das construções e a leitura de possíveis armadilhas são grandes desafios a merecer atenção dos avaliadores. Mais do que hoje, olha-se também para o amanhã com vistas a perceber movimentos no objeto e suas relações com o entorno.

É neste sentido que o papel de um avaliador especialista não se resume apenas a aprovar ou reprovar, a dizer se algo é bom ou ruim. Os desafios contemporâneos exigem aprofundamento e diálogo, reconhecimento e críticas, de forma que toda ação avaliativa seja também um compromisso de produção de bens de interesse público que contribuam para o desenvolvimento da sociedade.

5. Do encontro com o objeto de avaliação

O encontro com o objeto de avaliação é crucial a qualquer avaliador, sendo fundamental sua acolhida. Esse movimento possibilita acessar o objeto, criando possibilidades para compreender suas mensagens e objetivos, estrutura e dinâmica. Espera-se do avaliador especialista um olhar interessado para o objeto, de forma a produzir perguntas que sirvam para reconhecer e estranhar, questionar e compreender, testar e descobrir.  Para esta tarefa, cabe aos avaliadores alguns posicionamentos.

O primeiro posicionamento diz respeito a uma postura do avaliador que seja capaz de nutrir um olhar interessado para o objeto, preocupado com seu status e sua história. A postura acolhedora é tomada aqui na perspectiva de quem recebe e hospeda um objeto, cultivando a capacidade de colocá-lo em um lugar de investigação.

A postura acolhedora cria também a possibilidade de um segundo e importante posicionamento para o avaliador especialista: a capacidade de estranhar o objeto. O exercício de estranhar ou distanciar-se[ii] do objeto a ser avaliado é crucial ao exercício de observação. Mesmo que soe contraditório à primeira vista, o exercício de estranhamento abre o sujeito para a descoberta do outro, tornando possível um diálogo real com o objeto. O que se espera é a descoberta e o reconhecimento do que se encontra ali, um foco no que se apresenta ao olhar, e não necessariamente naquilo que falta. Do avaliador especialista é exigido um saber em sua forma mais generosa, e ele está ali por dois motivos: por seu conhecimento teórico sobre o objeto e para emitir um juízo de valor, função de poder a ser exercida com cuidado.

6. Da centralidade do diálogo para produzir juízo de valor

Se nos parágrafos anteriores abordamos as expectativas depositadas nos avaliadores especialistas e o delicado encontro com o objeto de avaliação, tratamos agora da importância dos processos dialógicos para a construção de juízos de valor. Se é comum nos deparamos com práticas autoritárias e centralizadoras, nas quais os avaliadores costumam emitir opiniões totalitárias, há visões de mundo mais plurais e democráticas, que requerem muita conversa para chegar a uma escolha.

Espera-se que um avaliador especialista compreenda que sua tarefa não pressupõe que ele seja o portador da verdade, mas que o processo de descoberta e formação de juízo requer debate e troca, argumentação e aprimoramento, ajustes e mudanças de pontos de vista. Numa avaliação centrada em especialistas, a expressão e a articulação de opiniões e leituras são as melhores maneiras de conferir consistência e transparência ao julgamento, num reconhecimento de que para produzir ciência é preciso debate[iii].

Num respeitoso processo dialógico, ainda que haja critérios explícitos, é fundamental que o avaliador especialista reconheça que toda leitura e todo argumento é passível de debate e revisão, porque todo olhar é passível de falhas e interpretações. Assim como a experiência de um avaliador o leva a afirmar certas opiniões, preferir certos arranjos e apostar em certos caminhos, outras experiências apontarão em outras direções, o que torna não apenas legítimo, mas necessário, dialogar para compreender e pactuar.

Seja na observação de atividades, no diálogo com outros sujeitos ou na leitura de documentos, é fundamental que um avaliador especialista reconheça que trabalha com um método de conhecimento baseado na interpretação de sinais sensíveis ou manifestações de elementos de uma organização ou cultura, sinais e manifestações que permitirão a um avaliador desenhar certo sentido para um objeto, mas nunca o único sentido possível.

Num paralelo com a hermenêutica[iv], ciência de extremo valor  para a leitura de documentos na análise de um projeto, alcançar a compreensão de um texto, seu significado mais profundo, exige interpretação minuciosa dos diversos elementos que o compõem. Buscar o sentido de um texto é buscar entender o que se desejou transmitir, quem falou, em que contexto falou, a que interlocutor se dirigiu, etc. Dito de outra forma, como o fez José Saramago em Janela da Alma, toda leitura enxerga diferentes lados de um objeto e se queremos melhor compreendê-lo, será preciso rodeá-lo[7].

O debate também ajuda a confrontar posicionamentos cristalizados nos indivíduos, que ao negociarem com outros, podem olhar para si mesmos e para a realidade num exercício de revisão de seus saberes. Explicitar escolhas e negociá-las produz novos entendimentos acerca do objeto avaliado, abrindo novas janelas interpretativas que sozinhos um avaliador não poderia abrir; a ciência não é um exercício solitário.

Em “Uma abordagem naturalística para a avaliação”, Guba e Lincoln[v] falam de quatro gerações da avaliação, demonstrando como as práticas de inúmeros avaliadores foram sendo modificadas em função de necessidades e descobertas de seu tempo. Se a primeira geração da avaliação estava dedicada ao exercício puro da medição, onde o avaliador era um técnico que construía instrumentos capazes de determinar quantitativamente a natureza de um objeto, a segunda geração trouxe um forte apelo à descrição do fenômeno avaliado, com forte abertura a reconhecer processos. Abrindo-se ao julgamento, a terceira geração apresenta um avaliador que acumula as funções técnica e descritiva, mas também a de juiz, cabendo a ele vereditos finais sobre o objeto.

Apontando diversas limitações das três gerações, sobretudo sua dificuldade em acomodar o pluralismo de valores e de contextualizar os objetos, os autores propõem uma avaliação de quarta geração, processo responsivo no qual  as preocupações, reivindicações e questões dos grupos de interesse implicados nos processos de avaliação assumem importante papel de liderança.

Enquanto nas três primeiras gerações os critérios de avaliação são essencialmente definidos a priori pelos avaliadores, a avaliação de quarta geração os determina por intermédio de um processo interativo, num convite para construção mais complexa e reflexiva implicada na negociação para pactuar critérios e caminhos. Neste processo há o reconhecimento do contexto e a negação da hierarquia à medida em que os agentes definidores dos parâmetros que serão utilizados são tanto o público-alvo de um projeto avaliado, por exemplo, quanto seus implementadores e financiadores.

A quarta geração da avaliação assume postura dialógica na qual se faz escolhas a partir da articulação dos diferentes atores interessados que, ao olhar juntos para um mesmo objeto, negociam critérios e explicitam reivindicações, desejos, leituras e diferentes posições. As avaliações de quarta geração são profundamente inspiradoras para o trabalho contemporâneo de avaliadores especialistas.

7. Armadilhas

Se há muitos caminhos metodológicos e oportunidades para o exercício de boas avaliações, há também uma série de armadilhas que podem capturar avaliadores e avaliações, às quais é preciso estar atento. Seja nos recônditos subjetivos ou na firmeza dos métodos, os riscos estão a espreitar.

• Quem manda aqui sou eu!

Se um avaliador acredita que os critérios de julgamento que ele utiliza são inquestionáveis, bem como são irrefutáveis suas faculdades de observação, ele tende a basear as avaliações exclusivamente em suas preferências e escolhas, refutando o ingresso e o diálogo com outros atores interessados no processo avaliativo.

• O critério sou eu!

Para além de definir os critérios de julgamento como inquestionáveis, o Avaliador Sol não explicita os critérios que utiliza, e sustenta que suas escolhas são as melhores porque são as melhores, e porque estão baseadas em sua experiência. Num discurso elíptico e frágil, o Avaliador Sol não apresenta argumentos, mas afirma suas predileções e não abre-se a colocá-las em cheque.

• Vou fazer justiça com minhas próprias mãos!

Um avaliador pode ser bastante sensível a temática abarcada pelo projeto, pode ter predileções por uma ou outra organização ou autor, e seguramente terá suas matrizes ideológicas. Dessa maneira, pode emitir juízos de valor de forma a destacar pontos do objeto para favorecê-lo em detrimento de outro. Nestes casos, os avaliadores estarão menos preocupados com a natureza e o status do objeto avaliado, e mais ocupados das suas próprias demandas.

•  Isto eu já conheço!

Há avaliadores que não se deixam surpreender, que recebem os objetos sem curiosidade e espírito de descoberta, fechando-se às experiências singulares que advém de cada encontro com novas realidades.

• Isto não é verdade: só a pressão e o constrangimento produz saber

Há casos em que os avaliadores atuam como investigadores policiais diante de um objeto, desconfiando do que lhes é apresentado, supondo que seus interlocutores mentem e criando mecanismos para produzir e capturar a contradição das pessoas. A ameaça e o amedrontamento desdobram-se quase inevitavelmente nestes tipos de relação, nas quais o avaliador insiste em constranger os sujeitos numa infeliz aposta de testar sua consistência e caráter.

8. Considerações finais

No livro intitulado Consultoria de Processos Revisitada, Edgar Schein[vi] aponta um conjunto de princípios que regem sua abordagem de consultoria, ou sua maneira de compreender realidades organizacionais e nelas intervir. Os apelos para que tentemos sempre ter alguma ajuda e para que nos mantenhamos em cuidadoso contato com a realidade corrente são acompanhados por uma demanda que nos parece central aos avaliadores especialistas. Trata-se do que o autor define como “acesse sua ignorância”.

Para Schein, a tarefa de conhecer a realidade para nela intervir passa centralmente pelo cuidado de separar três perspectivas que costumam confundir-se na prática dos avaliadores: (a) compreender aquilo que você sabe; (b) compreender ou admitir aquilo que você não sabe e, principalmente, (c) ter clareza daquilo que você acha que sabe; criterioso exercício de respeito ao outro, de reconhecimento de limites e de descoberta da realidade.

A respeito da realidade, o trabalho de um avaliador ou avaliadora especialista encontra-se apoiado na ideia de experiência e de mergulho sensível em um objeto, para mais além de posturas burocráticas e pasteurizadas[vii]. É o reconhecimento de que algo se passa com o avaliador no contato com seu objeto, algo que tem potencial de transformá-los, o que irá fomentar na experiência avaliativa o sentido de vínculo, responsabilidade e projeção de futuro que se espera de um avaliador.

Toda realidade precisa primeiro ser conhecida para depois ser avaliada. O especialista conhece os marcos teóricos a respeito do objeto, mas não conhece todas as suas possibilidades de ocorrência prática, o requer dele abertura ao entendimento das diferentes realidades, assumindo a possibilidade de um mesmo objeto tomar múltiplas formas, a depender do contexto em que está inserido.

Mesmo que denso e profundo, o saber de um especialista é limitado frente às diversas possibilidades de desenvolvimento de um objeto, e admitir limites é um primeiro passo essencial a quem quer atuar com relevância. Partir do pressuposto de que o conhecimento que se tem não é absoluto traz ao avaliador especialista a possibilidade de indagar a realidade que se apresenta em um movimento dialógico que implicará descobertas. Reconhecer-se curioso a respeito do objeto avaliado permite novos entendimentos sobre algo que se julga já conhecer. O especialista que atua como avaliador precisa acessar seu conhecimento com disposição e desprendimento, em um denso exercício intelectual e metodológico. E, acima de tudo, os tempos contemporâneos requerem que ele trabalhe na descoberta e no acolhimento das diferenças.

[1] Sócio-fundador e diretor de pesquisa da Move até agosto de 2017, é doutor em saúde pública pela USP e psicanalista pelo CEP, com ampla experiência em avaliação de programas.

[2] Sócia e pesquisadora em educação da Move, é bacharel em gestão de políticas públicas pela USP, com experiência em pesquisa e desenvolvimento de projetos na área de educação.

[3] Pesquisadora da Move, é bacharel em políticas públicas pela UFABC, com experiência em pesquisas na área de judicialização de políticas públicas de educação.

[4] Enorme vontade de julgar, de emitir juízo de valor, de classificar.

[5] O código de Hamurabi consiste no código de leis criado em 1772 AC pelo rei Hamurabi e é considerado o fundador do Direito, sendo o primeiro código jurídico existente. É conhecido principalmente por um de seus trechos, a Lei de Talião: “ Olho por olho, dente por dente”.

[6] O Prêmio Itaú-Unicef é uma iniciativa que busca identificar, reconhecer e estimular parcerias entre organizações da sociedade civil e escolas públicas no desenvolvimento de projetos socioeducativos que contribuam com as políticas públicas de Educação Integral para crianças, adolescentes e jovens em condições de vulnerabilidade socioeconômica.

[7] No documentário Janela da Alma, há um belo depoimento de José Saramago a respeito da necessidade de rodear os objetos a fim de vê-los em sua inteireza.

[i] Sanders, J.; Fitzpatrick, J. Worthen, B. Uma introdução a avaliação de Programas. Conceitos e Práticas. São Paulo: Gente/EDUSP/Instituto Fonte/IAS; 2004.

[ii] Rabelo, FCE. Limites do uso metodológico dos princípios de “estranhamento”, “distanciamento” e “reflexividade” na pesquisa sociológica. Comunicação apresentada no Seminário Temático A Constituição de Fronteiras nas Ciências Sociais: tensão e extensão no campo metodológico, XXVIII Encontro Anual da Anpocs, outubro de 2004

[iii] Demo, P. Praticar Ciência: Metodologias do conhecimento científico, São Paulo: Saraiva, 2012.

[iv] Minayo, Maria Cecília de Souza. Hermenêutica-dialética como caminho do pensamento social. In: Minayo MCS, Deslandes SF, organizadores. Caminhos do Pensamento: epistemologia e método. Rio de Janeiro: Editora Fiocruz; 2008. p. 83-107.

[v] Guba, E; Lincoln, Y. Avaliação de quarta geração, Campinas: Editora da Unicamp, 2011.

[vi] Schein, Edgar. Consultoria de processos: estabelecer relações de ajuda. São Paulo: Peirópolis/Fonte, 2000.

[vii] Bondía, Jorge Larrosa. Notas sobre a experiência e o saber da experiência. Revista Brasileira de Educação. Jan/Fev/Mar/Abr 2002, n19.