Avaliação Econômica de Projetos Sociais | 3º Encontro Virtual de Avaliação: Projeto CIEE – Parte 06
3º Encontro Virtual de Avaliação: Projeto CIEE - Parte 06
Áudio Entrevistada 1: Um outro ponto importante também que a gente tem que falar é da coleta de dados. Para fazer a avaliação, a gente fez uma pesquisa. A gente foi atrás dos jovens para coletar todas as informações que a gente precisava. Para essa pesquisa, a gente que contratou uma empresa e a pesquisa foi feita por telefone. O questionário, eu acho muito rico, de verdade. Eu gosto bastante. São seis blocos. Depois, eu acho que o Carlos (apresentador) vai deixar disponibilizado também, né?
Áudio Apresentador: Está disponível no site para quem quiser baixar e ter alguma referência de questionário. Pode fazer o download do questionário na Rede de Avaliação e olhar um pouco sobre esses seis blocos, que também aparecem no slides, que são: características socioeconômicas, histórico escolar, algumas perguntas sobre o Programa Mais, blocos controle, que a Elaine (entrevistada 1) falou também; e autoestima. São estes os blocos do questionário, que está disponível para quem quiser baixar e conhecer um pouco mais.
Áudio Entrevistada 2: Recomendo os blocos 5 e 6 então. Nossa! Para a área social, super importante!!
Áudio Entrevistada 1: Legal. São escalas curtas. Elas foram utilizadas em outras pesquisas de larga escala. Não são nacionais, mas já tem traduzidas. Então, são fáceis para usar, porque são curtinhas. É um instrumento curto.
Áudio Apresentador: Bacana. Acho que isso que você está falando é importante, Elaine. Eu queria só reforçar que é um instrumento que já foi validado internacionalmente e.. claro, ele não dá conta de toda a complexidade, de todas as realidades. Mas foi uma opção que a gente encontrou aqui com toda a simplificação e limitação que um instrumento qualquer, que procura medir essas habilidades, tem. Mas foi um investimento nosso, de querer olhar para isso, de não deixar passar, de tentar responder um pouco à gestão do Projeto, que tinha esse anseio de olhar para isso. Então, embora tenha essa limitação de instrumento, na metodologia, foi um avanço.
Áudio Entrevistada 2: Muito grande. Porque, você mensurar pelo que você observa no dia a dia, que é o brilho nos olhos, que é a mudança de postura, do olhar no olho, como eu falei no outro bloco, e outras questões, para quem está no dia a dia, é fácil. Agora, como que você vai levar esses resultados para um terceiro? Então, para mim, que atuo na área social há quinze anos, sinceramente, foi a primeira metodologia que quis olhar para isso. E é uma tentativa para ser aprimorada. Mas que, para o projeto, fez muita diferença. Eu fiquei super feliz quando eu falei: "gente, eu queria falar de autoestima. É possível? Lógico que é, a gente vai ver o que a gente pode fazer. Vamos tentar!"
Áudio Apresentador: E devem ter muitas outras formas que a gente está aqui também e pode descobrir junto com quem está assistindo. Aqui, na Rede de Avaliação, tem um espaço para comentários e sugestões. Então, se você conhece alguma coisa, ou quer sugerir alguma coisa também que pode contribuir para a gente conhecer mais sobre esse assunto, não deixe de comentar durante toda a nossa conversa. Se tiver comentários e sugestões, só colocar aí.
Áudio Entrevistada 2: Ótimo. Muito bem-vindo!
Áudio Entrevistada 1: Muito importante ali, o outro ponto. É que a gente fez o pré-teste. Gosto de enfatizar isso porque, às vezes, a gente fala: "ah não, o questionário está redondinho, tá beleza, pode aplicar!". Não, não faça isso! Faça o pré-teste. É sempre legal! Para testar o tempo... Por exemplo, por ser uma pesquisa por telefone, a gente tinha medo de o instrumento ficar muito grande e aí, talvez, não coubessem os dois blocos ali, o bloco 5 e o bloco 6 de percepções. E aí, no pré-teste, a gente viu que cabia, não tinha problema. Então, foi bem legal mesmo. E a gente usou os jovens do "Ser Cidadão" para fazer o pré-teste. Isto é legal também. É legal sempre você pensar em pessoas que vão responder o pré-teste... chamar pessoas para responder, que são muito parecidas com as que de fato vão responder depois.
Áudio Entrevistada 2: E a gente chegou também a alterar até algumas perguntas, que não ficaram bem entendidas. Para a gente, estava uma questão óbvia, mas para quem foi perguntado, o pesquisado em si, não entendeu muito bem. Então, a gente reformulou algumas perguntas. Eu acho também que o pré-teste tem que ser feito.
Áudio Apresentador: A gente está falando aqui de um questionário que foi aplicado por uma avaliação depois, não é? A gente pegou o telefone e ligou para todo mundo. É uma pergunta: é interessante fazer um pré-teste também num processo de seleção, de inscrição? Eu vou, faço uma ficha de inscrição e, de repente, após estruturar essa ficha, pensando em uma possível avaliação lá na frente, coletando os dados, que a gente chama de "linha de base" ou "de inscrição". Você acha que é interessante?
Áudio Entrevistada 1: Eu acho, eu acho.
Áudio Apresentador: Para testar tempo, entendimento. Por que, às vezes, as pessoas podem começar respondendo no automático.
Áudio Entrevistada 1: Entendimento é uma coisa... porque, às vezes, as pessoas podem ter entendimentos diferentes, da mesma pergunta. Então, aí você vai ter respostas diferentes e depois você não pode consegue usar aquilo, porque cada um respondeu de um jeito. Então, linha de base é importante.
Áudio Entrevistada 2: E você percebe até na própria resposta que a pessoa não entendeu. Ou seja, aquela pergunta ali não vai poder ser usada.
Áudio Entrevistada 1: Ainda mais na linha de base! Imagina, você capricha na linha de base e aí não dá para usar.