La revisión por pares está bajo presión por el auge de la investigación en IA

El filtro de calidad científica muestra señales de sobrecarga

La revisión por pares ocupa un lugar central en la publicación científica moderna. Antes de que un artículo se publique formalmente, normalmente se pide a expertos externos que evalúen si los métodos, el razonamiento y las conclusiones son sólidos. El proceso es imperfecto, lento y a menudo frustrante, pero sigue siendo uno de los principales mecanismos que usa la ciencia para filtrar errores y señalar credibilidad.

Ese mecanismo está ahora visiblemente tensionado. Un nuevo informe de Ars Technica describe un sistema editorial que lucha por seguir el ritmo del fuerte aumento de envíos, incluidos manuscritos asistidos por IA, mientras sigue dependiendo en gran medida del trabajo voluntario de investigadores en activo. El resultado no es solo que los tiempos de respuesta sean más largos. En algunos casos, parece haber peor calidad de revisión, un escrutinio más débil y decisiones editoriales tomadas con menos aporte experto del que el sistema fue diseñado para proporcionar.

Cuando un revisor se convierte en toda la puerta de entrada

El artículo abre con la experiencia del economista de la salud Jason Semprini, quien presentó un trabajo que analizaba políticas que exigen que los estudiantes de primaria reciban la vacuna contra el virus del papiloma humano. Según el informe, su estudio no cuestionaba si la vacuna contra el VPH previene el cáncer de cuello uterino. En cambio, examinaba si los mandatos son eficaces para aumentar la vacunación lo suficiente como para cambiar las tasas generales de cáncer de cuello uterino a nivel poblacional.

Esa distinción importaba, y el revisor parece haberla pasado por alto. Se informó que el manuscrito fue juzgado como si cuestionara el valor clínico de la vacuna, en lugar de analizar la herramienta de política usada para aumentar su adopción. En un proceso de revisión más robusto, varios revisores podrían haber compensado o corregido ese malentendido. Pero en este caso solo había un revisor, y el artículo fue rechazado.

La anécdota es útil porque captura el problema estructural. La revisión por pares siempre ha sido vulnerable al sesgo, la falta de atención y el simple error humano. Lo que cambia cuando el sistema está sobrecargado es que esos errores tienen menos probabilidades de ser detectados por redundancia. Si los editores no pueden reclutar suficientes revisores calificados, una lectura apresurada o confusa puede volverse निर्णante.

Un sistema basado en experiencia no remunerada está llegando a sus límites de escala

El informe apunta a las cifras más amplias detrás de esa presión. Los artículos indexados en Scopus y Web of Science han venido aumentando exponencialmente, a una tasa del 5,6 por ciento anual, según el texto de origen. Eso puede sonar manejable por sí solo, pero el sistema académico de revisión no se expande automáticamente para acompañarlo. Cada nuevo artículo requiere editores, revisores, revisiones y ciclos repetidos de atención.

Una estimación citada en el artículo sitúa el trabajo mundial dedicado a la revisión por pares en 15.000 años de trabajo cada año. Para la parte realizada solo en Estados Unidos, el coste implícito sería de 1.500 millones de dólares si ese trabajo fuera remunerado. Sin embargo, la mayor parte no se paga. Se dona, a menudo de forma anónima, por investigadores que ya están equilibrando sus propios experimentos, la docencia, la redacción de subvenciones, la administración y las exigencias de publicación.

Esa desproporción tiene consecuencias obvias. A los editores les cuesta encontrar revisores dispuestos. Los investigadores cualificados rechazan más invitaciones. Quienes sí aceptan pueden estar sobrecargados. Y cuando el grupo de revisores se reduce, las revistas pueden conformarse con menos informes por artículo o con emparejamientos menos idóneos entre manuscrito y experiencia del revisor.

Ninguna de esas adaptaciones destruye necesariamente de inmediato el valor de la revisión por pares. Pero cada una reduce su fiabilidad. La publicación científica depende no solo de que haya revisión, sino de que sea lo bastante cuidadosa, informada e independiente como para detectar problemas antes de la publicación o evitar rechazar trabajos por las razones equivocadas.

Por qué la IA añade presión incluso sin ser la causa total

El artículo enmarca la tensión actual en parte a través de la era de la IA, y ese énfasis es importante. Las herramientas de IA pueden reducir la fricción al redactar, revisar y volver a empaquetar artículos. Eso no hace automáticamente que la ciencia subyacente sea peor, pero sí puede aumentar el volumen de envíos que llegan a las revistas. Si escribir y dar formato se vuelve más fácil, el cuello de botella se desplaza hacia la evaluación.

En ese sentido, la IA puede amplificar un problema que ya venía desarrollándose. La producción de investigación ha estado creciendo durante años en múltiples disciplinas. Sin embargo, el sistema de revisión sigue dependiendo de una atención experta que continúa siendo escasa y difícil de escalar. Incluso si los artículos asistidos por IA no son intrínsecamente de menor calidad, contribuyen a un mundo en el que se pueden producir más manuscritos más rápido de lo que pueden revisarse bien.

El peligro más inmediato no es que cada artículo asistido por IA sea defectuoso. Es que el ancho de banda de los revisores se convierta en el recurso limitante para decidir qué afirmaciones reciben un escrutinio serio. Un sistema saturado es más vulnerable a revisiones superficiales, métodos mal entendidos, estándares inconsistentes y decisiones de publicación que dependen de demasiados pocos ojos.

Qué está en juego para la ciencia

La revisión por pares nunca ha sido una garantía de verdad, y los críticos han documentado durante mucho tiempo sus puntos ciegos. Pero un sistema de revisión debilitado crea un problema más difícil tanto para la ciencia como para el público. Si las revistas no pueden reclutar de forma fiable a varios revisores expertos, su papel como filtros de calidad se vuelve menos confiable justo cuando la producción de investigación se acelera.

Eso importa mucho más allá de la academia. Los responsables de políticas, los médicos, los inversores y el público usan habitualmente la publicación en revistas como sustituto de legitimidad. Si el proceso que conduce a la publicación se vuelve más débil, esa señal se vuelve más ruidosa. Al mismo tiempo, la investigación valiosa puede retrasarse o rechazarse por razones evitables, como en el caso destacado por Ars Technica.

El informe no presenta una solución simple, y eso en sí mismo es revelador. El problema de la carga de trabajo es estructural. La ciencia quiere más producción, las revistas quieren publicar a tiempo, los investigadores necesitan avanzar en su carrera y la IA está haciendo más fácil la producción escrita. Pero el acto central de control de calidad del sistema sigue dependiendo de trabajo voluntario experto que no puede expandirse indefinidamente.

La siguiente fase probable de este debate se centrará en si la revisión por pares necesita rediseño, compensación, triaje o nuevo apoyo técnico. Por ahora, la advertencia es más sencilla. La maquinaria de revisión que sostiene la credibilidad científica está bajo presión real, y la era de la IA está haciendo que esa presión sea más difícil de ignorar.

• Cada vez parece más que una parte creciente de la revisión por pares se hace con menos revisores por artículo.
• Las bases de datos de publicación están creciendo a una tasa anual del 5,6 por ciento, según el informe.
• Los revisores voluntarios aportan en conjunto una enorme cantidad de trabajo no remunerado.
• La redacción asistida por IA puede acelerar el volumen de envíos incluso si la calidad de la ciencia varía.
• El riesgo principal es un escrutinio más superficial, no solo una publicación más lenta.

Este artículo se basa en la cobertura de Ars Technica. Leer el artículo original.