A Revisão por Pares Está Sob Pressão com o Boom da Pesquisa em IA

O filtro de qualidade científica dá sinais de sobrecarga

A revisão por pares está no centro da publicação científica moderna. Antes que um artigo seja publicado formalmente, especialistas externos costumam ser chamados para avaliar se os métodos, o raciocínio e as conclusões são sólidos. O processo é imperfeito, lento e frequentemente frustrante, mas continua sendo um dos principais mecanismos usados pela ciência para filtrar erros e sinalizar credibilidade.

Esse mecanismo agora está visivelmente sobrecarregado. Um novo relatório da Ars Technica descreve um sistema editorial lutando para acompanhar o forte aumento de submissões, incluindo manuscritos assistidos por IA, ao mesmo tempo em que ainda depende fortemente do trabalho voluntário de pesquisadores em atividade. O resultado não são apenas prazos mais longos. Em alguns casos, parece haver piora na qualidade da revisão, menos rigor e decisões editoriais tomadas com menos contribuição especializada do que o sistema foi projetado para receber.

Quando um único revisor vira a porta inteira

A reportagem abre com a experiência do economista da saúde Jason Semprini, que submeteu um artigo examinando políticas que exigem que alunos do ensino fundamental recebam a vacina contra o papilomavírus humano. Segundo o relatório, seu estudo não questionava se a vacina contra o HPV previne o câncer do colo do útero. Em vez disso, examinava se os mandatos são eficazes para elevar a vacinação o suficiente para alterar as taxas gerais de câncer do colo do útero no nível populacional.

Essa distinção importava, e o revisor aparentemente a perdeu. O manuscrito teria sido avaliado como se estivesse contestando o valor clínico da vacina, em vez de analisar a ferramenta de política usada para aumentar sua adesão. Em um processo de revisão mais robusto, vários revisores talvez tivessem equilibrado esse equívoco ou o corrigido. Mas, nesse caso, havia apenas um revisor, e o artigo foi rejeitado.

A anedota é útil porque captura o problema estrutural. A revisão por pares sempre esteve vulnerável a vieses, distração e erro humano simples. O que muda quando o sistema fica sobrecarregado é que esses erros têm menos chance de ser corrigidos por redundância. Se os editores não conseguem recrutar revisores qualificados suficientes, uma leitura apressada ou confusa pode se tornar निर्णيiva.

Um sistema baseado em expertise não remunerada está encontrando limites de escala

O relatório aponta os números mais amplos por trás dessa pressão. Os artigos indexados no Scopus e no Web of Science têm crescido exponencialmente, a uma taxa de 5,6% ao ano, segundo o texto de origem. Isso pode parecer administrável isoladamente, mas o sistema acadêmico de revisão não se expande automaticamente para acompanhá-lo. Cada novo artigo exige editores, revisores, revisões e ciclos repetidos de atenção.

Uma estimativa citada no artigo coloca o trabalho global gasto em revisão por pares em 15 mil anos de trabalho por ano. Para a parcela concluída somente nos Estados Unidos, o custo implícito seria de US$ 1,5 bilhão se esse trabalho fosse pago. Ainda assim, a maior parte não é paga. É doada, muitas vezes de forma anônima, por pesquisadores que já estão dividindo seu tempo entre seus próprios experimentos, aulas, redação de projetos, administração e demandas de publicação.

Esse descompasso tem consequências óbvias. Editores têm dificuldade para encontrar revisores dispostos. Pesquisadores qualificados recusam mais convites. Os que aceitam podem estar sobrecarregados. E, quando o conjunto de revisores encolhe, as revistas podem se contentar com menos relatórios por artigo ou com combinações menos adequadas entre manuscrito e expertise do revisor.

Nenhuma dessas adaptações destrói necessariamente o valor da revisão por pares da noite para o dia. Mas cada uma reduz sua confiabilidade. A publicação científica depende não apenas de uma revisão ocorrer, mas de ela ser cuidadosa, informada e independente o suficiente para identificar problemas antes da publicação ou evitar a rejeição de trabalhos pelos motivos errados.

Por que a IA adiciona pressão mesmo sem ser a causa inteira

O artigo enquadra a tensão atual em parte pela era da IA, e esse destaque é significativo. Ferramentas de IA podem reduzir o atrito envolvido em redigir, revisar e reempacotar artigos. Isso não torna automaticamente a ciência subjacente pior, mas pode aumentar o volume de submissões que chegam às revistas. Se a redação e a formatação se tornam mais fáceis, o gargalo se desloca para a etapa de avaliação.

Nesse sentido, a IA pode amplificar um problema que já vinha se desenvolvendo. A produção de pesquisa vem crescendo em várias áreas há anos. O sistema de revisão, no entanto, ainda depende de atenção especializada que continua escassa e difícil de escalar. Mesmo que artigos assistidos por IA não sejam inerentemente de menor qualidade, eles contribuem para um mundo em que mais manuscritos podem ser produzidos mais rapidamente do que podem ser bem revisados.

O perigo mais imediato não é que todo artigo assistido por IA seja falho. É que a capacidade dos revisores se torne o recurso limitante para definir quais alegações recebem escrutínio sério. Um sistema saturado fica mais vulnerável a revisões superficiais, métodos mal compreendidos, padrões inconsistentes e decisões de publicação que dependem de olhos demais poucos.

O que está em jogo para a ciência

A revisão por pares nunca foi uma garantia de verdade, e críticos há muito tempo documentam suas falhas. Mas um sistema de revisão enfraquecido cria um problema mais difícil tanto para a ciência quanto para o público. Se as revistas não conseguem recrutar com confiabilidade vários revisores experientes, seu papel como filtros de qualidade se torna menos confiável justamente quando a produção de pesquisa está acelerando.

Isso importa muito além da academia. Formuladores de políticas, médicos, investidores e o público usam rotineiramente a publicação em revistas como um proxy de legitimidade. Se o processo que leva à publicação ficar mais raso, esse sinal fica mais ruidoso. Ao mesmo tempo, pesquisas valiosas podem ser atrasadas ou rejeitadas por motivos evitáveis, como no caso destacado pela Ars Technica.

O relatório não apresenta uma solução simples, e isso por si só é revelador. O problema da carga de trabalho é estrutural. A ciência quer mais produção, as revistas querem publicação em tempo hábil, os pesquisadores precisam avançar na carreira e a IA está tornando a produção textual mais fácil. Mas o principal ato de controle de qualidade do sistema ainda depende de trabalho voluntário especializado que não pode crescer indefinidamente.

A próxima fase provável desse debate vai se concentrar em saber se a revisão por pares precisa de redesenho, remuneração, triagem ou novo suporte técnico. Por enquanto, o alerta é mais simples. O mecanismo de revisão que sustenta a credibilidade científica está sob pressão real, e a era da IA está tornando essa pressão mais difícil de ignorar.

• Cada vez mais a revisão por pares parece estar acontecendo com menos revisores por artigo.
• Bancos de dados de publicação estão crescendo a uma taxa anual de 5,6%, segundo o relatório.
• Revisores voluntários contribuem coletivamente com uma enorme quantidade de trabalho não remunerado.
• A redação assistida por IA pode acelerar o volume de submissões, mesmo que a qualidade da ciência varie.
• O principal risco é um escrutínio mais superficial, não apenas uma publicação mais lenta.

Este artigo é baseado em reportagem da Ars Technica. Leia o artigo original.