Die Evidenz, auf der die moderne Medizin beruht, ist nur so stark wie die einzelnen Studien, die in sie einfließen, und eine wachsende Zahl von Forschungsarbeiten zeigt, dass ein erheblicher Anteil klinischer Studien Probleme aufweist, die Reviewer bisher nur schwer erkennen konnten. Ein neues Tool soll diese Lücke schließen, bevor fehlerhafte Ergebnisse Behandlungsleitlinien und letztlich die Patientenversorgung prägen können.
Das Instrument namens INSPECT-SR wurde von Forschenden der University of Manchester, von Cochrane und der University of Colorado in Zusammenarbeit mit mehr als 40 Institutionen weltweit entwickelt. Es gibt systematischen Reviewern eine strukturierte, transparente Methode an die Hand, um zu beurteilen, ob eine randomisierte kontrollierte Studie vertrauenswürdig ist; seine Entwickler beschreiben es in einem in BMJ veröffentlichten Artikel.
Warum eine einzelne fehlerhafte Studie weit reichen kann
Systematische Reviews und die darauf aufbauenden Meta-Analysen stehen nahe der Spitze der Evidenzhierarchie. Leitliniengremien, Regulierungsbehörden und Kliniker stützen sich auf sie, um zu entscheiden, welche Behandlungen wirken. Diese Autorität hängt vollständig von den Studien ab, die sie zusammenführen. Problematische Studien – sei es durch menschliche Fehler oder durch wissenschaftliches Fehlverhalten beeinträchtigt – können gepoolte Schätzungen verzerren und Empfehlungen in Richtung von Schlussfolgerungen drängen, die ungenau oder sogar schädlich sind.
Besonders schwierig macht das Problem, wie lange es verborgen bleiben kann. Probleme mit einer Studie können jahrelang unerkannt bleiben, und viele problematische Studien werden nie förmlich zurückgezogen. Da Rückzugsmitteilungen keine vollständige Dokumentation bilden, ist das wahre Ausmaß des Problems schwer zu bestimmen. Reviewer hatten meanwhile historisch nur begrenzte und uneinheitliche Methoden, um zu bewerten, ob die Daten einer Studie überhaupt verlässlich sind.
Ivermectin und COVID-19: ein warnendes Beispiel
Die Folgen sind nicht hypothetisch. Ein aktueller Fall betraf systematische Reviews zu Ivermectin als Behandlung für COVID-19. Nach Angaben der Gesundheitsbehörden der Vereinigten Staaten, des Vereinigten Königreichs und der Europäischen Union waren einige der in diese Reviews aufgenommenen Studien nicht authentisch. Als anschließend hochwertige Studien durchgeführt wurden, deuteten sie auf wenig oder keinen Nutzen des Medikaments hin. Der Vorfall veranschaulichte, wie unzuverlässige Primärstudien sich durch Reviews, öffentliche Kommunikation und klinische Praxis verbreiten können, lange bevor die zugrunde liegenden Daten infrage gestellt werden.
Im Inneren des Tools: 21 Prüfungen in vier Bereichen
INSPECT-SR begegnet dieser Anfälligkeit mit einem bewusst systematischen Verfahren. Es führt Reviewer durch 21 strukturierte Prüfungen, die in vier Bereiche gegliedert sind:
- Hinweise nach der Veröffentlichung — ob eine Studie nach ihrem Erscheinen in der Literatur gekennzeichnet, korrigiert oder anderweitig annotiert wurde.
- Studiendurchführung, Governance und Transparenz — wie die Studie durchgeführt und dokumentiert wurde.
- Text und Abbildungen — die veröffentlichte Darstellung der Forschung selbst.
- Studienergebnisse — die Zahlen und Endpunkte, die die Studie berichtet.
Durch die Standardisierung dieser Prüfungen soll das Rahmenwerk einen Teil des Rätselratens aus einer Aufgabe entfernen, die Reviewer zuvor auf ad-hoc-Weise angingen. Das Ziel ist Konsistenz: Zwei Review-Teams, die dieselbe Studie untersuchen, sollten zu vergleichbaren Schlussfolgerungen darüber gelangen, ob ihre Evidenz in eine Synthese gehört.
Vertrauenswürdigkeit ist nicht dasselbe wie Bias-Risiko
Die Unterscheidung ist wichtig. Bestehende Instrumente konzentrieren sich tendenziell auf das Risiko von Bias oder die methodische Qualität und fragen, ob eine Studie gut genug konzipiert und berichtet wurde, um ihre Schlussfolgerungen zu stützen. INSPECT-SR richtet den Fokus stattdessen darauf, ob den Studiendaten selbst vertraut werden kann.
Die Autoren sind sorgfältig darin, was das Tool beansprucht und was nicht. Das Rahmenwerk setzt kein Fehlverhalten voraus und impliziert keine absichtliche Missetat von Forschenden; es ist darauf ausgelegt, problematische Studien vieler Art aufzudecken. Zugleich kann es helfen, betrügerische Studien neben durch Fehler beeinträchtigten Studien zu identifizieren, und gibt Reviewern eine verteidigungsfähige Grundlage, verdächtige Evidenz auszuschließen oder zu prüfen, wie ihre Ergebnisse ohne sie Bestand haben.
Mit und für die Review-Community entwickelt
Die Glaubwürdigkeit des Tools beruht teilweise darauf, wer es mitgestaltet hat. Mehr als 150 Expertinnen und Experten für Integrität und Gesundheitsforschung aus aller Welt haben nach Angaben des Teams zur Entwicklung beigetragen. Dr. Jack Wilkinson, der leitende Forscher, sagte, Forschende könnten INSPECT-SR nutzen, um die Vertrauenswürdigkeit randomisierter kontrollierter Studien zu bewerten und problematische Studien zu identifizieren, wohl wissend, dass es die Unterstützung der Community für systematische Reviews genießt.
Das Rahmenwerk wurde entwickelt, um rigoros, systematisch und transparent zu sein – Eigenschaften, die nach Ansicht der Autoren unerlässlich sind, wenn Vertrauenswürdigkeitsbewertungen von einem Review-Team zum nächsten stabil bleiben sollen, statt vom individuellen Urteilsvermögen abzuhängen.
Vom Tool zur Standardpraxis
Das Forschungsteam ermutigt Reviewer, Leitlinienentwickler und Verlage, INSPECT-SR zu übernehmen, und erwartet, dass es zum Standard für die Bewertung der Vertrauenswürdigkeit randomisierter kontrollierter Studien wird. Lisa Bero, Mitautorin des Artikels, brachte die Tragweite prägnant auf den Punkt: Systematische Reviews sind nur so glaubwürdig wie die Studien, die sie enthalten.
Eine breitere Übernahme würde bedeuten, dass Fragen zur Authentizität einer Studie bereits zum Zeitpunkt der Synthese gestellt werden – eine Abkehr vom derzeitigen Muster, bei dem Zweifel oft erst auftauchen, nachdem ein Review bereits Leitlinien beeinflusst hat.
Was das für Patienten und Leitlinien bedeutet
Für Kliniker und Patienten liegt der Wert in dem, was herausgefiltert wird. Leitlinien, die auf einer kontaminierten Evidenzbasis aufbauen, können Menschen zu Behandlungen lenken, die nicht wirken, oder von solchen wegführen, die wirken. Ein standardisierter Screening-Schritt kann unzuverlässige Forschung nicht aus eigener Kraft bereinigen, aber er gibt den Menschen, die Evidenz synthetisieren, eine klarere, besser wiederholbare Möglichkeit zu entscheiden, welche Studien einen Platz in der Analyse verdienen und welche zurückgestellt werden sollten, bis ihre Daten verifiziert werden können.
Wie die Ivermectin-Erfahrung zeigte, messen sich die Kosten verpasster solcher Signale in verschwendeter Zeit, vergeudeten Ressourcen und erodiertem öffentlichen Vertrauen. Die Entwickler von INSPECT-SR setzen darauf, dass eine Checkliste, die von der Review-Community für die Review-Community erstellt wurde, mehr davon früher erkennen kann.
Dieser Artikel basiert auf einer Berichterstattung von Medical Xpress. Lesen Sie den Originalartikel.
Originally published on medicalxpress.com
