Especial redeGIFE: as perspectivas para o Monitoramento e Avaliação de projetos e organizações - GIFE Especial redeGIFE: as perspectivas para o Monitoramento e Avaliação de projetos e organizações - GIFE
As perspectivas para o Monitoramento e Avaliação de projetos e organizações
Desde a chegada da Covid-19 ao Brasil, números preencheram telejornais, revistas, reportagens em portais na internet e publicações nas redes sociais. A pandemia reforçou a importância de pesquisas, dados e processos de monitoramento, avaliação e aprendizagem com o objetivo de embasar ações e medidas, nesse caso, na área de saúde pública, mas não apenas. Para Gustavo Henrique Moraes, coordenador-geral de Instrumentos e Medidas Educacionais do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (CGIME/INEP), o papel das práticas de monitoramento e avaliação ficou mais evidenciado durante a emergência, ao passo que criou-se um interesse público coletivo por números, o que pode ser um indicativo para o crescimento do tema no país. Gustavo defende que um dos aprendizados do período foi a percepção sobre o quanto a intempestividade dos dados ou falta de metodologia na coleta e tratamento das informações pode atrapalhar processos, e enfatiza a importância do investimento em novas maneiras de buscar e processar dados. Ana Rosa Monteiro Soares, chefe da seção de avaliações temáticas e corporativas globais do Escritório Independente de Avaliações do Programa das Nações Unidas para o Desenvolvimento (PNUD, com sede em Nova York, nos Estados Unidos), ressalta a importância de gerar novos dados, mas também acessar bases já existentes.
"É preciso avançar em metodologias a distância e tecnologias, mas que deem conta de chegar perto dos beneficiários para entender o impacto em suas vidas e as mudanças mais significativas, além dos fatores que prejudicaram o alcance de resultados e avanços, especialmente com relação aos ODS [Objetivos de Desenvolvimento Sustentável]."
Observando o grande volume de doações durante a pandemia, a Associação Brasileira de Captadores de Recursos (ABCR) organizou uma ferramenta para acompanhar os recursos doados por diversos setores com o objetivo de combater os efeitos da Covid-19. O Monitor das Doações foi utilizado em inúmeras reportagens e matérias sobre a pandemia, e, atualmente, contabiliza mais de R$ 7 bilhões mobilizados por quase 732 mil doadores. Recheada de gráficos e tabelas que mostram a evolução da mobilização de recursos durante 2020, 2021 e 2022, a ferramenta é um convite para a análise de dados. Uma planilha mostra que cerca de 85% do total arrecadado foi doado por empresas, por exemplo.
Outro exemplo de destaque é o Covid-19 Dashboard, da Johns Hopkins University (JHU), nos Estados Unidos. Se inicialmente a ferramenta, de forma emergencial, contabilizava o número de casos e mortes nos países atingidos pelo novo coronavírus, agora, dois anos depois do surgimento da doença e com a chegada das vacinas, o painel traz uma multiplicidade de informações: número total de casos, mortes e imunizantes administrados no mundo e por países.
Maior atenção aos processos de monitoramento e avaliação
Quando o assunto é monitoramento e avaliação durante a pandemia de Covid-19, há um consenso entre os especialistas: houve mais investimentos e atenção nos processos.
Marcia Joppert, consultora e diretora da Rede Brasileira de Monitoramento e Avaliação (RBMA), acredita que, a partir de agora, mais organizações vão demandar formação, conhecimento e apoio para montar seus sistemas de monitoramento, avaliação e aprendizagem.
Além do exemplo do consórcio de veículos de imprensa que, diante da decisão do governo federal de restringir o acesso a informações sobre os casos e mortes por Covid, decidiram formar uma parceria para obter dados junto às Secretarias de Saúde, Marcia defende
que a própria divulgação nas redes sociais de fotos de pessoas se vacinando também pode ser entendido como um processo de monitoramento e demonstra um posicionamento claro enquanto sociedade.
Por sua vez, Maure Pessanha, presidente do Conselho da Artemisia Negócios Sociais, argumenta que, considerando a urgência do cenário com a chegada do vírus ao Brasil, as organizações se colocaram em uma posição de ação. "Acredito que as questões mais reflexivas e de monitoramento e avaliação ficaram, no curto prazo, em stand-by, porque todos estavam muito preocupados em fazer acontecer. Mas no final do ano percebi que os doadores estavam muito interessados com os resultados das iniciativas também."
Ana Rosa complementa: "Foram desenvolvidas inovações para monitorar e coletar dados quantitativos, mas pouco se pensou em metodologias para avaliar, a longo prazo, os diversos impactos sociais e emocionais. Focou-se muito em modelagens, mas pouco se pensou no social, emocional e no qualitativo."
As dificuldades de avaliar durante a crise
No campo das organizações da sociedade civil, movimentos, fundações e institutos empresariais, Walquíria Tibúrcio, sócia consultora na MOVE – Avaliação e Estratégia, pontua questões que merecem debate no campo avaliativo.
Percepção sobre a avaliação: enquanto muitas organizações vêm as práticas de monitoramento e avaliação como algo supérfluo durante um período de crise – que conta com inúmeras outras demandas – e precisam ser relembradas sobre o sentido desses processos, outras instituições entendem como algo importante e que precisa ser realizado a todo custo, o que também têm pontos negativos.
Tempo: apesar da necessidade de ser ágil e, ao mesmo tempo, produzir boas respostas, é importante que as organizações tenham consciência de que processos avaliativos com uma grande quantidade de informações demandam das equipes e que a produção de boas afirmações e análises avaliativas carecem de tempo.
Processos remotos: a obrigatoriedade do distanciamento social e a impossibilidade de estar juntos presencialmente também teve efeitos no campo avaliativo. Walquíria explica que, se por um lado é importante confiar que plataformas e ferramentas têm a capacidade de apoiar a realização de bons processos à distância, o contato com as pessoas presencialmente em seus territórios faz falta e impõe restrições para responder a algumas perguntas no desenvolvimento da avaliação.
Adentrar ou se aprofundar no mundo das avaliações pode não ser tão simples para instituições que não têm clareza sobre quais caminhos seguir. Para que se desenhe um bom processo, existem algumas etapas que devem ser observadas e colocadas em prática, independente do objeto de análise – um projeto, programa, iniciativa, ação recorrente ou pontual.
Com a proposta de apresentar esses caminhos, assim como as motivações, indicadores e abordagens avaliativas, a Agenda de Avaliação do GIFE preparou um infográfico especial. Acesse aqui.
Avaliação, equidade e diversidade
Além de entender as motivações para a realização de processos de monitoramento e avaliação – que ajudarão a embasar seus desenhos -, bem como as abordagens avaliativas, existem pontos-chave que devem ser considerados em todos os momentos, desde as conversas iniciais, passando por sua realização e o pós-avaliação. Um tema comum que tem marcado os debates é a importância desses processos considerarem a equidade e a diversidade.
Um dos maiores eventos do campo avaliativo do mundo, a conferência anual Eval20 Reimagined: A Virtual Experience, da American Evaluation Association (AEA), teve diversas mesas e debates para abordar diversidade e equidade na avaliação, reforçando a importância para a comunidade global de avaliadores.
Por reconhecer que processos avaliativos não podem mais desconsiderar a busca pela diversidade, uma das quatro dimensões apresentadas na publicação Diretrizes para Prática de Avaliação no Brasil é 'Direitos e Integridade'. Publicada em 2020 com o objetivo de contribuir com a elaboração de documentos nacionais sobre monitoramento e avaliação que conversem com a realidade do país, a publicação de autoria da Rede Brasileira de Monitoramento e Avaliação (RBMA) e elaborada com apoio do GIFE apresenta 26 diretrizes.
As avaliações devem reconhecer e respeitar os direitos e posições sociais, culturais e políticas dos envolvidos. Esse é um dos motivos pelos quais um processo avaliativo pode ser uma ferramenta para a desconstrução de desigualdades.
Inspirada por diálogos no campo avaliativo do Brasil e do mundo, a Agenda de Avaliação do GIFE também teve uma produção própria sobre a temática.
A Nota Técnica (NT) Avaliação e Equidade explica que há uma tendência de projetar, tanto sobre a avaliação como sobre os avaliadores, expectativas de objetividade, isenção e imparcialidade. Entretanto, o documento aponta que em toda avaliação há processos de troca de informações, interpretação e aplicação do conhecimento, que são influenciados pelos valores e cultura dos participantes, incluindo o avaliador.
Nesse sentido, é possível aplicar a lente de diversidade em diferentes direções de um processo avaliativo. Segundo a nota técnica, mais do que pensar em equidade nos processos de avaliação, é necessário aplicar a lente no funcionamento da organização, com diversidade e consciência multicultural, racial e de gênero no conselho e corpo diretivo, nas equipes, na estrutura de tomada de decisões e na prática diária da organização.
"Temos visto grandes organizações e lideranças se movimentando e advogando pela agenda da equidade. Para quem trabalha com avaliação, é necessário aprimorar a prática considerando todos os marcadores sociais, principalmente os ditos estruturais das relações, que são os marcadores de gênero e étnico-raciais. Olhando para o cenário de hoje, não podemos mais falar sobre monitoramento e avaliação desconsiderando essas duas questões amplas da sociedade, principalmente no contexto brasileiro", defende Walquíria Tibúrcio.
Os desafios e oportunidades para a Agenda de Avaliação em 2022
Mas, afinal, quais são os principais desafios para o campo de avaliação neste ano? E as oportunidades? É possível planejar processos avaliativos em diferentes áreas? Como o campo pode se desenvolver e profissionalizar?
Acesse o infográfico e confira reflexões sobre as principais tendências em monitoramento e avaliação de acordo com os membros do conselho da Agenda de Avaliação do GIFE.
Selo UNICEF: iniciativa do Fundo das Nações Unidas para a Infância (UNICEF) para estimular e reconhecer avanços reais e positivos na promoção, realização e garantia dos direitos de crianças e adolescentes em municípios do Semiárido e da Amazônia Legal brasileira. Confira.
Plataforma Nilo Peçanha (PNP): inteiramente dedicada a coletar, validar e disseminar informações e estatísticas oficiais da Rede Federal de Educação Profissional, Científica e Tecnológica, a plataforma reúne dados sobre corpo docente e discente, técnico-administrativo e de gastos financeiros das unidades da Rede Federal. Conta com uma construção de indicadores próprios e é publicada anualmente a partir de um mecanismo de colaboração em rede. Saiba mais.
Rede Brasileira de Monitoramento e Avaliação: com a missão de promover diálogos entre os diversos atores do campo de monitoramento e avaliação e estimular a disseminação de teorias e práticas cada vez mais relevantes para a sociedade brasileira, o site da RBMA reúne uma biblioteca virtual, uma revista própria, indicação de cursos e formações e uma comunidade de especialistas na área. Acesse.
Better Evaluation: organização sem fins lucrativos criada com a missão de trabalhar colaborativamente com a comunidade global de avaliadores e especialistas no tema para criar, compartilhar e apoiar a construção e uso do conhecimento sobre como planejar, conduzir e utilizar avaliações. Além de definições sobre avaliação e acesso a uma comunidade de pessoas engajadas com o tema, o site apresenta métodos, processos, abordagens e temas diversos da avaliação. Conheça.
"Acredito que todos já perceberam a urgência por uma transformação em sistemas, de modo a interromper os efeitos negativos da mudança do clima, das desigualdades e da injustiça social, questões que nos acompanham há muito tempo. Começamos a pensar na complexidade que isso pode implicar e que métodos tradicionais sempre aplicados para avaliar não darão mais conta. Portanto, nossas competências e habilidades, que já apresentam muitas lacunas, terão que ser expandidas. A tendência já presente na arena internacional é que a avaliação assuma um posicionamento de valores e princípios em relação à sustentabilidade do planeta, apoiando processos de avaliação das transformações necessárias para salvar os ecossistemas."
consultora e diretora da Rede Brasileira de Monitoramento e Avaliação (RBMA).
"No campo de investimentos e negócios de impacto, o cenário de monitoramento e avaliação é bastante positivo e promissor, tanto na demanda dos próprios investidores mais tradicionais, filantropos e dos próprios investidores de impacto, como na importância dos empreendedores se conscientizarem cada vez mais desde o momento inicial a respeito de seu empreendimento, o que ele precisa avaliar e monitorar, e como pode fazer a gestão desse impacto."
presidente do Conselho da Artemisia Negócios Sociais.
"O papel do monitoramento foi essencial para apresentar em tempo real a situação da pandemia em termos quantitativos, mas o papel da avaliação ficou muito a desejar especialmente em termos qualitativos. Poucas instituições se prepararam para pensar de forma proativa e para medir impactos com controles e credibilidade, mesmo em termos quantitativos."
chefe da seção de avaliações temáticas e corporativas globais do Escritório Independente de Avaliações do Programa das Nações Unidas para o Desenvolvimento (PNUD, com sede em Nova York, nos EUA).
"Penso que, passados os momentos críticos, ao analisarmos o desempenho do país nos seus diversos âmbitos, fica muito óbvia a importância de termos processos e instrumentos de monitoramento e avaliação para embasar ações e decisões. Participo de coletivos e movimentos sociais e todos eles estão passando por processos de avaliação com vistas a construção de planejamento para os próximos anos. Da mesma forma, na Avante, estamos iniciando um processo de avaliação externa para definir nosso planejamento. Tudo isso sinaliza a oportunidade de adesão às práticas de monitoramento e avaliação."
presidente da Avante Educação e Mobilização Social.
"Situações de crise puxam organizações para a ação, o que torna processos de monitoramento e avaliação no mínimo mais enxutos, econômicos e estratégicos. Além disso, 2022 é um ano que vai correr muito rápido. Por isso, acredito que temos que desenhar processos mais ágeis, que respondam às necessidades que podem mudar rapidamente."
Martina Rillo
coordenadora de Monitoramento, Avaliação e Aprendizagem no Instituto Clima e Sociedade (iCS).
"Obviamente estamos enfrentando problemas acerca de dados. Há dados que não foram produzidos ou que são de difícil organização. Então, é necessário refazer as formas de coletar e tratar as informações para que tenham maior eficiência no conhecimento de dados e de construção de conhecimento para monitoramento e avaliação de políticas públicas."
coordenador-geral de Instrumentos e Medidas Educacionais do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (CGIME/INEP).
"A agenda de equidade racial é uma urgência desde que o Brasil é Brasil. Não se pode falar sobre a questão racial sem se implicar frontalmente. Ao mesmo tempo que é uma oportunidade, é uma necessidade e imperativo ético que a prática avaliativa esteja vinculada e atravessada pelas desigualdades. As avaliações precisam se perguntar cada vez mais de que maneira as iniciativas sociais respondem ou endereçam as desigualdades. Se elas têm capacidade de construir processos mais equitativos dentro da sociedade, vinculando o combate à desigualdade de gênero e principalmente, prioritariamente, raciais."
sócia consultora na MOVE - Avaliação e Estratégia.
A Agenda de Avaliação
A Agenda de Avaliação tem como objetivo fomentar a cultura avaliativa entre os associados do GIFE, por meio da qualificação e da disseminação das práticas de monitoramento e avaliação no setor do investimento social e das organizações da sociedade civil. A iniciativa é liderada e apoiada por um grupo coordenador composto por Fundação Maria Cecilia Souto Vidigal, Fundação Roberto Marinho e Itaú Social. O final de 2021 marcou a constituição do Conselho Consultivo da Agenda de Avaliação, que visa ampliar a participação de outras organizações e representantes dos demais elos da cadeia que formam o campo da avaliação, como as OSCs, avaliadores, universidades, poder público, demais organizações do ISP e outras. Conheça os conselheiros e conselheiras, apresentados em primeira mão neste Especial redeGIFE:
Ana Rosa Monteiro Soares, chefe da seção de avaliações temáticas e corporativas globais do Escritório Independente de Avaliações do Programa das Nações Unidas para o Desenvolvimento (PNUD, com sede em Nova York, nos EUA)
Gustavo Henrique Moraes, coordenador-geral de Instrumentos e Medidas Educacionais do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (CGIME/INEP)
Marcia Joppert, consultora, candidata ao doutorado em avaliação na Claremont Graduate University (EUA) e diretora da Rede Brasileira de Monitoramento e Avaliação (RBMA)
Maria Thereza Oliva Marcilio, presidente da Avante Educação e Mobilização Social
Martina Rillo, coordenadora de planejamento, avaliação e aprendizagem do Instituto Clima e Sociedade (iCS)
Maure Pessanha, presidente do Conselho da Artemisia Negócios Sociais
Wagner Andriola, professor Titular da Universidade Federal do Ceará (UFC) e Coordenador do Mestrado Profissional em Políticas Públicas e Gestão da Educação Superior
Walquíria Tibúrcio, sócia consultora na MOVE – Avaliação e Estratégia
Um dos pilares da atuação da Agenda de Avaliação do GIFE é a produção de conhecimento sistematizada em um site próprio lançado em 2020.
A plataforma reúne um calendário com os próximos cursos e eventos previstos na área de monitoramento e avaliação, materiais de referência sobre o tema, um glossário com os termos mais utilizados no campo e notícias sobre o tema.
Confira algumas das principais produções de conhecimento realizadas pela Agenda de Avaliação.
A Série Avaliação do Podcast GIFE reúne convidados e especialistas no tema para debater como boas práticas de monitoramento e avaliação podem ajudar a aprimorar as ações dos investidores sociais no país. Disponível em todas as plataformas, os cinco episódios debateram avaliação de iniciativas socioambientais, geração de trabalho e renda, fortalecimento das organizações da sociedade civil, projetos educativos e o panorama da avaliação durante a pandemia. Ouça!
A Agenda de Avaliação também produziu três notas técnicas com o objetivo de reunir referências e aprofundar o debate em temas como: equidade, a criação de uma cultura avaliativa nas organizações e mensuração de resultados e impactos ESG [Environmental, Social and Governance].
Ao longo de 2020 e 2021, o projeto conversou com especialistas do campo sobre as potencialidades de processos avaliativos e como eles podem ser aplicados e desenvolvidos em diferentes contextos e temáticas. Confira a entrevista sobre avaliação e cultura de doação com Beatriz Bouskela, diretora executiva do Movimento Arredondar, e com Thereza Penna Firme, especialista em avaliação, sobre a participação e autorreflexão dos avaliadores durante os processos.
Todas as reportagens, matérias, notas e eventos da Agenda de Avaliação podem ser acessados neste link.