Dá pra confiar nas pesquisas online?
25/06/2018 _Dá pra confiar nas pesquisas online?
Na década de 1990, quando ainda era sócio diretor da PPM Research, resolvi testar a Internet para fazer pesquisa de mercado. É importante lembrar que naquela ocasião o acesso à rede era discado.
Para fazer este teste, planejei um Painel de Consumidores na cidade de São Paulo. Por meio de clientes, amigos e fornecedores, consegui uma listagem com mais de cinco mil e-mails. Mandei um texto explicando a pesquisa e pedindo a colaboração das pessoas, informando que quem participasse receberia duas raspadinhas por mês, uma a cada quinze dias, com a condição de que os questionários fossem devolvidos no prazo estipulado, totalmente e corretamente preenchidos.
Para minha surpresa, mais de 900 pessoas se dispuseram a participar, nos enviando o cadastro não só com seus dados mas também de toda a família. Enviamos um novo e-mail agradecendo a participação e informando que eventualmente um supervisor da PPM poderia passar nas casas para verificar o preenchimento dos questionários e esclarecer eventuais dúvidas. Importante: deixamos bem claro que o questionário só poderia ser preenchido pela dona de casa ou pelo chefe da família.
Logo na segunda quinzena, o supervisor visitou pouco mais de trezentos domicílios inscritos. Em quase 90% deles haviam sido feitas compras que não foram anotadas no questionário. Em mais de trinta por cento os chefes da família haviam transferido a responsabilidade do preenchimento às suas empregadas. Enfim, foram tantos os problemas que decidimos cancelar o projeto.
Um troco a mais, confiança de menos
Recentemente recebi um convite da Ipsos Pesquisas para responder questionários pela Internet mediante uma pequena remuneração (o que não é ilegal). Em um happy hour, contei o fato a dois amigos e ambas tinham conhecidos que já haviam se inscrito em diversas empresas de pesquisa pela Internet. Um deles, aposentado, viu nisto uma forma de complementar sua aposentadoria e se inscreveu inúmeras vezes, mudando o sexo e a idade. Segundo minha amiga, ele respondia várias pesquisas semanalmente, inclusive uma sobre absorventes higiênicos.
Todo pesquisador quando planeja uma pesquisa toma um cuidado especial no desenho da amostra, afinal, é ela que vai representar toda uma população. Como controlar a amostra pela Internet? Hoje isto ainda é impossível.
Tenho usado este exemplo a vida toda: quando você vai colocar sal numa panela de feijão, se mexer bem, basta uma ponta de colher para saber se está no ponto do seu agrado, isto é uma amostra correta, mas, se nesta mesma colher eu colocar um pouquinho do feijão, um pouquinho do arroz, um pouquinho do molho eu nunca vou saber se o sal do feijão está no ponto certo. É exatamente isto que acontece nas pesquisas feitas pela Internet.
É evidente que existem pesquisas que podem ser feitas pela rede, como por exemplo, as pesquisas de audiência, uma vez que os moradores não têm interferência no processo. São aparelhos ligados nos televisores, que se comunicam diretamente com o IBOPE pela Internet. Outro tipo de pesquisa que poderia ser feita pela rede, sem problemas de interferência das pessoas seria o "store audit" (sobre o qual falaremos num próximo artigo), mas, são poucos institutos com condições tecnológicas que permitem pesquisas pela rede mundial de computadores.
Recentemente, fizemos uma pesquisa pelo Google, cujo universo era de 27 elementos. Pelos nossos cálculos precisaríamos de, no mínimo, 26 entrevistas para chegar a uma margem de erro de ± 5% com 95% de confiança, mas como só recebemos 12 respostas a margem de erro foi de ± 21,5%, o que praticamente inviabilizou a análise dos resultados e, consequentemente, as conclusões e recomendações.