Le filtre de qualité scientifique montre des signes de surcharge
L’évaluation par les pairs est au cœur de l’édition scientifique moderne. Avant qu’un article ne soit publié officiellement, des experts externes sont généralement invités à examiner si les méthodes, le raisonnement et les conclusions sont solides. Le processus est imparfait, lent et souvent frustrant, mais il demeure l’un des principaux mécanismes utilisés par la science pour détecter les erreurs et signaler la crédibilité.
Ce mécanisme est désormais visiblement sous tension. Un nouveau rapport d’Ars Technica décrit un système de publication qui peine à suivre la forte hausse des soumissions, y compris les manuscrits assistés par l’IA, tout en continuant de reposer largement sur le travail bénévole des chercheurs en activité. Le résultat n’est pas seulement des délais plus longs. Dans certains cas, il semble s’agir d’une moindre qualité des évaluations, d’un contrôle plus léger et de décisions éditoriales prises avec moins d’apports d’experts que le système n’était censé en fournir.
Quand un seul évaluateur devient toute la porte d’entrée
L’article s’ouvre sur l’expérience de l’économiste de la santé Jason Semprini, qui a soumis un article examinant des politiques obligeant les élèves du primaire à recevoir le vaccin contre le papillomavirus humain. Selon le rapport, son étude ne remettait pas en cause le fait que le vaccin contre le HPV prévient le cancer du col de l’utérus. Elle examinait plutôt si les obligations sont efficaces pour augmenter la vaccination au point de modifier les taux globaux de cancer du col de l’utérus à l’échelle de la population.
Cette distinction comptait, et l’évaluateur semble l’avoir manquée. Le manuscrit aurait été jugé comme s’il contestait la valeur clinique du vaccin plutôt que d’analyser l’outil de politique publique utilisé pour en accroître l’adoption. Dans un processus d’évaluation plus robuste, plusieurs relecteurs auraient pu corriger ou compenser ce malentendu. Mais dans ce cas, il n’y avait qu’un seul évaluateur, et l’article a été refusé.
L’anecdote est utile car elle saisit le problème structurel. L’évaluation par les pairs a toujours été vulnérable aux biais, à l’inattention et à la simple erreur humaine. Ce qui change lorsque le système est surchargé, c’est que ces erreurs ont moins de chances d’être détectées par redondance. Si les rédacteurs ne peuvent pas recruter assez d’évaluateurs qualifiés, une lecture hâtive ou confuse peut devenir décisive.
Un système fondé sur une expertise non rémunérée atteint ses limites d’échelle
Le rapport souligne les chiffres plus larges derrière cette pression. Les articles indexés dans Scopus et Web of Science augmentent de manière exponentielle, à un rythme de 5,6 % par an, selon le texte source. Cela peut sembler gérable isolément, mais le système d’évaluation académique ne s’étend pas automatiquement pour suivre le mouvement. Chaque nouvel article exige des éditeurs, des évaluateurs, des révisions et des cycles d’attention répétés.
Une estimation citée dans l’article évalue à 15 000 années de travail par an le temps de travail mondial consacré à l’évaluation par les pairs. Pour la part réalisée rien qu’aux États-Unis, le coût implicite serait de 1,5 milliard de dollars si ce travail était rémunéré. Or la majeure partie n’est pas payée. Elle est donnée, souvent anonymement, par des chercheurs qui jonglent déjà avec leurs propres expériences, l’enseignement, la rédaction de subventions, l’administration et les exigences de publication.
Ce décalage a des conséquences évidentes. Les éditeurs peinent à trouver des évaluateurs volontaires. Les chercheurs qualifiés déclinent davantage d’invitations. Ceux qui acceptent peuvent être surchargés. Et lorsque le vivier de relecteurs se réduit, les revues peuvent se contenter de moins de rapports par article ou d’adéquations moins idéales entre le manuscrit et l’expertise de l’évaluateur.
Aucune de ces adaptations ne détruit nécessairement du jour au lendemain la valeur de l’évaluation par les pairs. Mais chacune en réduit la fiabilité. L’édition scientifique dépend non seulement du fait qu’une évaluation ait lieu, mais aussi de sa capacité à être suffisamment soigneuse, informée et indépendante pour repérer les problèmes avant publication ou éviter de rejeter des travaux pour de mauvaises raisons.
Pourquoi l’IA ajoute de la pression même sans en être la cause unique
L’article présente la tension actuelle en partie à travers l’ère de l’IA, et cette insistance est significative. Les outils d’IA peuvent réduire les frictions liées à la rédaction, à la révision et au reformatage des articles. Cela ne rend pas automatiquement la science sous-jacente moins bonne, mais cela peut augmenter le volume de soumissions arrivant aux revues. Si la rédaction et la mise en forme deviennent plus faciles, le goulot d’étranglement se déplace vers l’évaluation.
En ce sens, l’IA peut amplifier un problème déjà en cours. La production de recherche augmente depuis des années dans de nombreuses disciplines. Le système d’évaluation, toutefois, repose toujours sur une attention experte qui reste rare et difficile à accroître. Même si les articles assistés par l’IA ne sont pas intrinsèquement de moindre qualité, ils contribuent à un monde où davantage de manuscrits peuvent être produits plus vite qu’ils ne peuvent être bien évalués.
Le danger le plus immédiat n’est pas que chaque article assisté par l’IA soit défectueux. C’est que la bande passante des évaluateurs devienne la ressource limitante pour déterminer quelles affirmations reçoivent un véritable examen. Un système saturé est plus vulnérable aux évaluations superficielles, aux méthodes mal comprises, aux standards incohérents et aux décisions de publication qui reposent sur un nombre trop faible de regards.
Ce qui est en jeu pour la science
L’évaluation par les pairs n’a jamais garanti la vérité, et les critiques ont depuis longtemps documenté ses angles morts. Mais un système d’évaluation affaibli crée un problème plus difficile à la fois pour la science et pour le public. Si les revues ne peuvent pas recruter de manière fiable plusieurs évaluateurs compétents, leur rôle de filtres de qualité devient moins fiable précisément au moment où la production scientifique s’accélère.
Cela compte bien au-delà du monde universitaire. Les décideurs publics, les médecins, les investisseurs et le grand public utilisent régulièrement la publication en revue comme proxy de légitimité. Si le processus menant à la publication devient plus mince, ce signal devient plus bruité. En même temps, des recherches utiles peuvent être retardées ou rejetées pour des raisons évitables, comme dans le cas mis en avant par Ars Technica.
Le rapport ne propose pas de solution simple, et cela en soi est révélateur. Le problème de charge de travail est structurel. La science veut davantage de production, les revues veulent publier rapidement, les chercheurs ont besoin d’avancement de carrière, et l’IA facilite la production écrite. Mais l’acte central de contrôle qualité du système dépend encore d’un travail bénévole d’experts qui ne peut pas croître indéfiniment.
La prochaine phase probable de ce débat portera sur la question de savoir si l’évaluation par les pairs doit être repensée, rémunérée, triée ou soutenue par de nouveaux outils techniques. Pour l’instant, l’avertissement est plus simple. La machine d’évaluation qui soutient la crédibilité scientifique est soumise à une vraie pression, et l’ère de l’IA rend cette pression plus difficile à ignorer.
- Une part croissante de l’évaluation par les pairs semble se faire avec moins d’évaluateurs par article.
- Les bases de données de publication augmentent à un rythme annuel de 5,6 %, selon le rapport.
- Les évaluateurs bénévoles fournissent collectivement une quantité énorme de travail non rémunéré.
- La rédaction assistée par l’IA peut accélérer le volume des soumissions, même si la qualité de la science elle-même varie.
- Le principal risque est un contrôle plus léger, pas seulement une publication plus lente.
Cet article s’appuie sur un reportage d’Ars Technica. Lire l’article original.
Originally published on arstechnica.com
