A Fundação CHDI — uma organização privada sem fins lucrativos de desenvolvimento de drogas focada na doença de Huntington — convocou um grupo de trabalho em 2013 para identificar etapas práticas e viáveis que poderiam ser tomadas para ajudar a garantir o rigor de sua pesquisa76. Um produto concreto dessa reunião foi o estabelecimento do Comitê Permanente Estatístico Independente (ISSC – da sigla em inglês) projetado para prover avaliações independentes, imparciais e objetivas e pareceres especializados sobre todos os aspectos do projeto e estatísticas do experimento. A CHDI disponibilizou amplamente esse recurso para a comunidade de pesquisa na doença de Huntington com base em prioridades. O ISSC é composto por indivíduos com conhecimentos específicos em projeto e estatística de pesquisa. Criticamente, os membros do comitê não estão envolvidos na pesquisa da doença de Huntington e não têm investimento em resultados de estudos ou outros conflitos de interesse. O comitê fornece uma série de serviços, incluindo (mas não limitado a) prestação de assistência especializada no desenvolvimento de protocolos e planos de análise estatística e avaliação de protocolos de estudo preparados. Sua supervisão e insumos, particularmente no estágio de projeto do estudo, pode mitigar baixo poder estatístico, projeto de estudo inadequado e flexibilidade na análise e relatório dos dados6, 71. Como destacado recentemente, “fazer perguntas no estágio de design pode salvar dores de cabeça na fase de análise: uma coleta de dados cuidadosa pode simplificar bastante a análise e torná-la mais rigorosa”77.
Estudos sobre potência estatística continuam indicando estar abaixo (às vezes muito abaixo) de 50% em ambos os tempos e nas diferentes disciplinas estudadas.2, 35, 36. Baixa potência estatística aumentam a possibilidade de obter resultados tanto falsos positivos quanto falsos negativos2, o que significa que não oferece nenhuma vantagem se o objetivo é acumular conhecimento. Apesar disso, pesquisas de baixa potência persistem por conta de incentivos disfuncionais, pobre compreensão das consequência da baixa potência e a falta de recursos para melhorar essa potência. Equipe científica é uma solução para o último problema — ao invés de confiar nos recursos limitados de investigadores solitários, colaboração distribuída através de vários locais de estudo facilitam projetos de alta potência e maior potencial para testar a generalização em todas as configurações e populações amostradas. Isso também traz um maior alcance para múltiplas perspectivas teóricas e disciplinares e uma gama diversificada de culturas de pesquisa e experiências a serem incorporadas no projeto de pesquisa.
Esforços multicêntricos e colaborativos tem uma longa e bem sucedida em campos como ensaios controlados randomizados em algumas áreas da medicina clínica e em análises de associação genética e tem melhorado a robustez da literatura de pesquisa resultante. Projetos colaborativos multilocalizados também foram defendidos para outros tipos de pesquisa, como estudos em animais41, 42, 43 em um esforço para maximizar sua potência, melhorar a padronização e otimizar a transparência e a proteção de ideias preconcebidas. Os projetos The Many Labs ilustram esse potencial em ciências sociais e comportamentais, com dezenas de laboratórios implementando o mesmo protocolo de pesquisa para obter estimativas de alta precisão de tamanhos de efeito e avaliar a variabilidade entre amostras e configurações44, 45. Isso também é possível, e desejável, para incorporar um ethos de equipe científica nos treinamentos de estudantes (veja o Quadro 2).
Os requisitos de avaliação dos estudantes e acesso limitado às populações de interesse podem dificultar a colaboração extensa dentro de uma mesma instituição, mas isso pode ser alcançado entre múltiplas instituições na forma de um projeto e estudantes distribuído. Sob este modelo, acadêmicos e estudantes de várias instituições podem formar um consórcio, desenvolvendo colaborativamente um questão de pesquisa, protocolo e plano de análise e pré-registrar isso publicamente antes da coleta dos dados. O protocolo deve ser implementado por cada estudante em cada centro participante e os dados resultantes reunidos para análise. Reuniões do consórcio antes e depois da coleta dos dados podem ser usados para integrar o treinamento em projeto de pesquisa, enquanto oferece oportunidades para contribuição criativa pelos estudantes. Conclusões baseadas nos resultados seriam ser mutuamente acordadas na preparação para disseminação ampla, usando inclusive convenções de autoria como as adotadas por consórcios genéricos. Os estudantes aprenderiam métodos rigorosos de pesquisa através da participação ativa em pesquisas que são suficientemente bem projetadas e condizidas para serem genuinamente significativas. Criticamente, a ciência da equipe colaborativa seria instilada em um estágio inicial de treinamento.
O Projeto de Replicação Colaborativa e Educação (CREP – Collaborative Replications and Education Project) é um exemplo desse conceito em psicologia, de uma forma mais centralizada. Uma equipe de coordenação identifica pesquisas publicadas recentemente que poderiam ser replicadas no contexto de um curso semestral de graduação em métodos de pesquisa. Um meio comum fornece os materiais e orientações para incorporar as replicações em projetos ou classes e os dados coletados entre os locais são agregados nos manuscritos para publicação. Os projetos Pipeline78 e Many Labs44, 45 também oferecem oportunidades para contribuir esforços de replicação em larga escala com coleta de dados coordenada através de vários locais simultaneamente.
Nesta seção nós descrevemos medidas que podem ser implementadas quando da comunicação da pesquisa (incluindo, por exemplo, padrões de relatório, pré-registro do estudo e descoberta de conflitos de interesse).
O pré-registro de protocolos de estudo para testes randomizados controlados em medicina clínica se tornou uma prática padrão46. Na sua forma mais simples, ele pode simplesmente incluir o registro do projeto de estudo básico, mas também pode incluir uma pré-especificação detalhada dos procedimentos de estudo, resultados e plano de análise estatística. Isso foi introduzido para abordar dois problemas: viés de publicação e flexibilidade analítica (em particular resultados mudando na caso da medicina clínica). O viés de publicação47, também conhecido como o problema da gaveta do arquivo48, se refere ao fato de que muito mais estudos são realizados do que publicados. Estudos que obtêm resultados positivos e novos são mais propensos a serem publicados do que estudos que obtêm resultados negativos ou replicações de resultados anteriores47, 49, 50. A consequência é que a literatura publicada indica evidências mais fortes de descobertas do que existe na realidade. Mudança de resultados se refere à possibilidade de alterar os resultados de interesse em um estudo dependendo dos dados observados. Um pesquisador pode incluir dez variáveis que podem ser consideradas resultados de saída da pesquisa e — uma vez que os dados são conhecidos — intencionalmente ou não selecionar um subconjunto de resultados que mostram dados estatisticamente significativos como um resultado de interesse. A consequência é um aumento na probabilidade de resultados reportados serem falsificados pela chance de lucro, enquanto evidências negativas são ignoradas. Esta é uma das várias práticas relacionadas com pesquisas que podem inflar descobertas falsas enquanto as decisões de análise são feitas com conhecimento dos dados observados, como seleção de modelos, regras de exclusão e covariáveis. Essas decisões de análise contigenciadas pelos dados constituem o que ficou conhecido por P-hacking51 e o pré-registro pode proteger contra tudo isso.
A forma forte de pré-registro envolve tanto o registro do estudo (com um compromisso de tornar públicos os resultados) e pré-especificar rigorosamente o projeto de estudo, resultado primário e plano de análise, antes de conduzir o estudo ou conhecer o resultado da pesquisa. Em princípio, isso endereça o viés de publicação tornando todas as pesquisas transparentes, sejam ou não publicadas, permitindo que todas as evidências sobre uma descoberta sejam obtidas e avaliadas. Isso também endereça as mudanças de resultados e P-hacking mais genericamente ao exigir que o pesquisador articule decisões analíticas antes de observar os dados, assim essas decisões permanecem independentes dos dados. Criticamente, isso também deixa clara a distinção entre pesquisa confirmatória independente dos dados, que é importante para testar hipóteses, e pesquisa exploratória contingenciada por dados, que é importante para gerar hipóteses.
Enquanto o registro prévio é comum atualmente em algumas áreas da medicina clínica (devido a requisitos de periódicos e órgãos reguladores, como a Food and Drug Administration (FDA), é raro nas ciência sociais e comportamentais. Entretanto, o apoio ao registro prévio de estudos está aumentando. Sites como o da Open Science Framework e AsPredicted oferecem serviços para estudos pré-registrados o Preregistration Challenge oferece educação e incentivos para conduzir pesquisas pré-registradas e periódicos estão adotando os formatos de publicação de Relatórios Registrados52, 53 para encorajar o registro prévio e adicionar a revisão de pares cega ao resultado (veja o Quadro 3).