Daniel Brandão

Thaís Magalhães

Avaliações de impacto[1] são processos orientados a conhecer as mudanças produzidas em uma dada realidade a partir de existência de determinada intervenção, como um programa social, por exemplo. Buscam conhecer mudanças efetivas (outcomes) na vida de pessoas, organizações e ambientes e estão comprometidas a ir além da medição de entregas de produtos (outputs), aspectos geralmente mais governáveis pelos gestores e tratados nos processos
de monitoramento.

Uma breve revisão teórica das concepções correntes sobre avaliações de impacto permite que elas sejam  categorizadas em três grupos: (1) o grupo da perspectiva metodológica; (2) o grupo da perspectiva do território e (3) o grupo da perspectiva temporal. Sem esgotá-las, tarefa de outras publicações e autores, neste texto apresentamos algumas das principais características destas avaliações, a fim de favorecer o seu uso consciente.

O grupo hegemônico entre os três é definido pela perspectiva metodológica. Sustentado por alguns dos grandes players do campo do investimento social, tais como o Banco Mundial, Bill & Melinda Gates Foundation e Fundação Itaú Social, entre outros, esta concepção de avaliação de impacto tem uma pergunta clássica que a expressa: o que teria ocorrido na realidade caso a intervenção não fosse realizada? O método que vem em apoio a esta questão traz o imperativo da presença de um contrafactual no estudo, ou seja, um dispositivo metodológico caracterizado por um grupo idealmente similar àquele que recebeu a intervenção (grupo tratamento), diferenciando-se apenas por não ter recebido / participado da mesma intervenção (grupo controle). É o emprego de contrafactuais que irá dividir os estudos entre experimentais ou quasi-experimentais e não experimentais, sendo que estes últimos não utilizam este dispositivo[2].

Avaliações de base experimental encontram, entretanto, algumas limitações para sua aplicação. Dentre as mais comumente apontadas estão: (a) seus elevados custos financeiros; (b) seu exigente processo de constituição aleatória dos grupos de tratamento e controle; (c) sua dificuldade de compatibilizar a escolha aleatória com outros critérios técnicos e políticos para eleição de populações prioritárias e (d) sua necessidade de manter controle sobre possíveis variáveis com capacidade de influenciar o programa e comprometer o estudo entre outras.

O segundo grupo de avaliações de impacto é demarcado pelas transformações produzidas na estrutura de território (ou setor) em função de uma intervenção.

O território, unidade que compreende espaço e sociedade, é o conceito central que guia esta concepção. Nesta perspectiva, busca-se conhecer o que mudou na estrutura social vigente, sendo que o uso de indicadores socioeconômicos tradicionais é comum nestas avaliações.

Já o terceiro grupo de avaliações de impacto tem seus contornos definidos pelo tempo de manifestação e prevalência dos resultados. Nelas, toda expectativa está apoiada em apostas de longo prazo, durante o qual os efeitos diretos e indiretos, intencionais ou não, positivos e negativos, irão se manifestar e mostrar sua perenidade ou volatilidade. Esta perspectiva caracterizou por algum tempo o senso comum sobre impacto entre boa parte dos investidores sociais brasileiros. Equivalendo resultados de longo prazo a impacto, e raramente dispostos ou autorizados a conduzir avaliações para comprovar suas hipóteses, tal confusão fez com que historicamente as avaliações de resultados de curto prazo fossem prioridade na agenda do investimento social, enquanto o impacto permanecia no horizonte.

As posições sobre o significado de avaliação de impacto devem ser assumidas por gestores dos investimentos para que se desdobrem político e tecnicamente na operacionalização da avaliação. O alinhamento desta visão facilita diálogos organizacionais e estimula a eficiência das avaliações. Entretanto a definição sobre o sentido de avaliação de impacto dá vazão a outra inquietação: o que difere impacto de resultados?

Para além de uma construção retórica, e com fortes implicações políticas, há o risco de se reconhecer os resultados restritos às entregas e aos produtos diretamente alcançados pelas intervenções, sobre os quais um gestor e sua equipe têm elevada governabilidade. Ao associar resultados a produtos, a responsabilidade de transformação social perde espaço para agendas restritas a metas de gestão, capturando o compromisso social na meritocracia.
Resultados configuram-se como expressões claras de mudanças produzidas em um sistema social, o que o aproxima do conceito de avaliação de impacto. Os resultados podem ocorrer em um território ou no longo prazo, em familiaridade com as categorias aqui tratadas. Nestes campos a distinção parece ser uma falsa questão. Entretanto os resultados circulam por um repertório mais amplo de associações, relacionados com o curto e médio prazos,
com pequenas transformações que não têm caráter estrutural ou com dados de natureza qualitativa, que costumam ocupar apenas a periferia do discurso do impacto, sempre de maneira ilustrativa, quando não anedótica.

As distinções aqui apresentadas estão comprometidas com a qualificação do discurso que orienta ações de avaliação entre empresas e organizações da sociedade civil. Não se trata de uma questão semântica, mas da preocupação legítima de estimular constantemente o julgamento organizacional consistente e crítico, abrangente e transparente, com vistas a forjar estratégias inteligentes para produzir um futuro e um país com mais equidade.

[1] Artigo originalmente publicado no Relatório Anual “Impacto Social”, de 2014

[2] Para mais informações sobre desenhos experimentais e quasi-experimentais ver a nota técnica “Causalidade e Avaliação “, disponível no site da Move.