A maioria dos estudos de pré-impressão do COVID-19 se mantém por meio de revisão por pares: estudo

Os resultados da pesquisa publicados on-line como pré-impressos – estudos tornados públicos antes de serem submetidos à revisão e aprovação de um painel de cientistas pares exigidos pela maioria dos periódicos acadêmicos – geralmente resistem muito bem a esse escrutínio, de acordo com um novo relatório sobre estudos COVID-19.

Enquanto pré-impressão manuscritos tornaram-se populares em muitos campos científicos desde que os físicos tornaram seu repositório arXiv (pronuncia-se “arquivo”) acessível on-line em 1991, a pandemia de COVID empurrou novos grupos de pesquisadores para o hábito de postar e consultar novos resultados experimentais e análises antes de seus pares. Reveja.

“Os preprints têm sido amplamente aceitos nas ciências sociais, ciências da computação e matemática há muito tempo”, diz B. Ian Hutchins, professor da Escola de Informação da Universidade de Wisconsin-Madison e líder do novo estudo de preprints publicado hoje em The Lancet Saúde Global. “A pesquisa biomédica tem sido mais cautelosa, eu acho, precisamente porque as pessoas usam essas informações para tomar decisões que alteram a saúde”.

O aparecimento e a rápida disseminação global de um novo vírus – bem como a resposta rápida de cientistas em todo o mundo – forçaram muitos a reconsiderar essa cautela, comparando-a com o custo de um atraso típico de muitos meses ou mais para que estudos recém-concluídos fossem eliminados. os obstáculos de uma cuidadosa revisão por pares de periódicos.

Um grupo de editores de periódicos decidiu durante a pandemia exigir a disponibilidade de pré-impressão de manuscritos relacionados ao COVID-19 enviados para sua consideração, de acordo com Hutchins – cujo próprio trabalho, por se concentrar nos estudos do COVID-19, também precisava ser disponibilizado como uma pré-impressão (profundamente meta).

Os pesquisadores da UW-Madison escolheram aleatoriamente 100 estudos COVID-19 que foram publicados como preprints e depois submetidos à revisão por pares e publicados com sucesso por periódicos. Eles examinaram como a revisão por pares afetou 1.606 pontos de dados nos manuscritos, representando quatro tipos de dados comuns ao gênero de estudo COVID: as taxas de mortalidade por infecção estreitamente relacionadas e taxas de mortalidade de casos, taxas básicas de reprodução viral (quantas pessoas uma pessoa infectada é esperada infectar) e incidência da doença (o número de novas pessoas infectadas em um determinado período de tempo).

“Esse foi um ponto forte do uso de pesquisa de doenças infecciosas para este estudo”, diz Hutchins. “Porque quando você fala sobre taxa de fatalidade de casos, há uma definição acordada do que é, em termos gerais, e assim podemos fazer melhores comparações desses dados em diferentes laboratórios”.

Comparando os manuscritos de pré-impressão com as eventuais versões publicadas dos estudos individuais, cerca de 90% desses 1.606 pontos de dados ainda estavam no texto após revisão por pares. Mais de 170 foram editados e mais de 300 novos pontos de dados foram adicionados na amostra de 100 estudos.

E enquanto os pesquisadores descobriram que os intervalos de confiança associados às estimativas – “é como as margens de erro que você ouve nas pesquisas”, diz Hutchins – diminuíram cerca de 7% após a revisão por pares, as mudanças nas estimativas reais foram pequenas e estatisticamente insignificantes.

“As oscilações selvagens entre as versões pré-impressas e publicadas seriam difíceis de explicar”, diz Hutchins. “Mas não é isso que vemos. Não há muitas mudanças nos dados relatados e nas estimativas baseadas nesses dados.”

Quantificar as diferenças normalmente observadas após os estudos cruzarem a linha de chegada da revisão por pares pode ajudar os consumidores da ciência mais recente a considerar quanto peso eles dão aos resultados de pré-impressão à medida que relatam descobertas ou emitem orientações de saúde pública.

“Jornalistas e formuladores de políticas devem olhar para o fato de que 90% dos Os pontos de dados conseguir revisão por pares, devem ter uma noção do quanto costumam mudar e se perguntar: estou confortável em aceitar esse grau de mudança?”, diz Hutchins. “A resposta para isso pode depender dos riscos da decisão. Se tudo o que você está preocupado é com sua reputação, você pode estar aberto a uma quantidade diferente de risco do que se estivesse tomando decisões de vida ou morte.”

Os Institutos Nacionais de Saúde promoveram manuscritos pré-impressos como forma de acelerar o ritmo da descoberta científica, de acordo com Hutchins, que desenvolveu o iCite, uma ferramenta de pesquisa com curadoria para pesquisa COVID-19, enquanto trabalhava no NIH.

Hutchins foi coautor do novo estudo com o estatístico Honghan Ye, que completou seu doutorado na UW-Madison em 2021, e vários estudantes de graduação da UW-Madison, e espera expandir seus estudos de pré-impressão para incluir uma gama mais ampla de campos científicos e como a qualidade da pré-impressão mudou ao longo do tempo.