Hugging Face gerät wegen Deepfake-„Nudify“-Modellen unter Druck

Offenes Modell-Hosting kollidiert mit einem wachsenden Problem des Deepfake-Missbrauchs

Hugging Face ist zu einem der wichtigsten Vertriebszentren für künstliche Intelligenz geworden, insbesondere für Open-Source- und Open-Weight-Modelle. Doch ein neuer, von The Verge zitierter Bericht argumentiert, dass die Plattform auch als reibungsarmer Kanal für nicht einvernehmliche sexualisierte Deepfakes dient, einschließlich Inhalten, die sich gegen Frauen und Kinder richten. Die Erkenntnis erhöht den Druck in einer breiteren Debatte darüber, ob Modell-Repositorien als neutrale Infrastruktur oder als aktive Gatekeeper behandelt werden sollten, die für die Begrenzung vorhersehbaren Missbrauchs verantwortlich sind.

Laut dem Bericht der europäischen Non-Profit-Organisation AI Forensics haben sieben der neun Bildbearbeitungsmodelle, die sie auf Hugging Face getestet hat, Aufforderungen, Frauen zu „entkleiden“, ohne Weiteres befolgt. Die Gruppe sagte, sie habe über die Modelle hinweg eine einfache Anfrage verwendet und keine ausgefeilten Jailbreak-Techniken, und dennoch hätten die Systeme oft die gewünschte Ausgabe erzeugt. Das ist bedeutsam, weil es darauf hindeutet, dass das Problem nicht auf hochentwickelte Angreifer beschränkt ist. Wenn ein einfacher Prompt funktioniert, ist die Hürde für Missbrauch niedrig genug für breiten Fehlgebrauch.

Der Bericht stellt dieses Verhalten den stärkeren Schutzmechanismen gegenüber, die üblicherweise in führenden Consumer-KI-Systemen größerer Unternehmen zu finden sind. The Verge weist darauf hin, dass gängige generative KI-Produkte wie Googles Gemini und OpenAIs ChatGPT Prompts, die versuchen, reale Personen zu entkleiden oder sexualisieren, in der Regel blockieren. Im Vergleich dazu schienen die getesteten Hugging-Face-Modelle in diesem Bereich nur schwache oder gar keine Schutzmechanismen auf Plattformebene zu haben.

Was der AI-Forensics-Test ergab

Die Ergebnisse der Non-Profit-Organisation weisen auf zwei miteinander verbundene Probleme hin: Modellverhalten und Nutzernachfrage. Auf der Modellseite waren die getesteten Bildbearbeitungssysteme Berichten zufolge bereit, direkte Anweisungen zum Entfernen von Kleidung aus Bildern von Frauen zu befolgen. Auf der Nachfrageseite richtete AI Forensics sogenannte „Honeypot“-Image-Editing-Spaces auf Hugging Face ein, um zu beobachten, welche Arten von Prompts Nutzer einsenden würden, während diese Spaces so gestaltet wurden, dass sie die Anfragen nicht erfüllen.

Über einen Zeitraum von sieben Tagen erhielt die Organisation zufolge diese Honeypots mehr als 1.000 Prompts und Bilder. Davon waren 73 % sexueller Natur. Unter den sexuellen Anfragen versuchten 83 %, jemanden auf dem Bild zu entkleiden, und 95 % dieser Ziele waren Frauen. Fast 7 % der sexuellen Anfragen, so der von The Verge wiedergegebene Bericht, richteten sich an Kinder.

Diese Zahlen belegen nicht das gesamte Ausmaß des Missbrauchs über die gesamte Plattform hinweg. Sie liefern jedoch ein konzentriertes Signal über die Absicht der Nutzer, wenn Tools mit dieser Fähigkeit leicht zugänglich gemacht werden. Das Muster ist besonders wichtig, weil es darauf hindeutet, dass der Missbrauch kein Randfall ist. Die bei den Honeypot-Spaces eingehenden Anfragen konzentrierten sich auf einen engen und schädlichen Anwendungsfall: gewöhnliche Fotos ohne Zustimmung in sexualisierte Deepfakes zu verwandeln.

Ein Plattformproblem, nicht nur ein Modellproblem

Die folgenreichste Aussage des Berichts ist nicht bloß, dass einige offene Modelle missbraucht werden können. Das ist seit Längerem bekannt. Die schärfere Kritik lautet, dass „auf Plattformebene überhaupt keine Schutzmaßnahmen implementiert werden“, wie The Verge zitiert. In der Praxis verschiebt das die Aufmerksamkeit von einzelnen Modellentwicklern auf die Hosting-Schicht, die Nutzern hilft, Modelle zu entdecken, auszuführen und zu teilen.

Hugging Face nimmt im KI-Ökosystem eine besondere Stellung ein, weil es sowohl ein Repository als auch eine Ausführungsumgebung ist. Modelle können hochgeladen, gebenchmarkt und in vielen Fällen direkt über browserbasierte Demos namens Spaces getestet werden. Diese Kombination senkt die Hürde für legitime Forschung und Entwicklung, aber sie senkt auch die Hürde für Missbrauch, wenn Moderation und Zugriffskontrollen nicht Schritt halten.

Der Bericht wirft damit eine politische Frage auf, die weit über ein einzelnes Unternehmen hinausreichen dürfte: Welche Pflichten treffen Infrastrukturanbieter, wenn das Missbrauchsmuster offensichtlich, reproduzierbar und gesellschaftlich schädlich ist? Das Thema ist bei sexualisierten Deepfakes besonders akut, weil der Schaden sofort eintreten und schwer rückgängig zu machen sein kann. Einmal erzeugt und verbreitet, kann solches Material den Ruf schädigen, Betroffene Belästigungen aussetzen und in Fällen mit Minderjährigen schwere rechtliche und ethische Konsequenzen auslösen.

Die Ergebnisse zeigen auch, wie sich die Debatte über offene Modelle verändert. Frühere Argumente drehten sich darum, ob die Veröffentlichung starker Modelle Innovation stärker beschleunigt, als sie das Risiko erhöht. Heute geht es oft operativer zu: Wenn Offenheit wertvoll bleibt, wo sollten Filter, Takedowns, Nutzungsbeschränkungen und Missbrauchserkennung angesiedelt sein? Wenn Modellgewichte weithin verfügbar bleiben, könnte die Plattformoberfläche zum Hauptort werden, an dem Sicherheitsanforderungen durchgesetzt werden.

Warum das jetzt zählt

Der Zeitpunkt ist bemerkenswert, weil Regulierungsbehörden und Gesetzgeber in mehreren Rechtsräumen von abstrakten KI-Sicherheitsdebatten zu konkreten Schäden wie Identitätsmissbrauch, Betrug und Missbrauch intimer Bilder übergehen. The Verge verknüpfte das Thema mit einer breiteren Verschärfung gegen Deepfakes und mit der jüngsten Aufmerksamkeit für Bildsysteme, die sexualisiertes Material mit Kindern erzeugen. Vor diesem Hintergrund ist es unwahrscheinlich, dass Repositorien, die Bildbearbeitungstools hosten, außerhalb des politischen Fokus bleiben.

Für die KI-Branche erinnert der Vorfall daran, dass Vertrauen ebenso stark von Defaults wie von Modellfähigkeiten geprägt wird. Ein System braucht keine Spitzenintelligenz, um ernsthaften Schaden anzurichten, wenn es leicht zugänglich und auf realistische Bildmanipulation getrimmt ist. In diesem Sinn geht der von AI Forensics beschriebene Missbrauchsweg weniger um spekulative Zukunftsrisiken als um aktuelle Produktentscheidungen.

Es gibt auch eine Reputationsdimension für die Open-Source-Community. Viele Befürworter argumentieren zu Recht, dass offener Zugang Transparenz, unabhängige Prüfungen und breitere Beteiligung an der KI-Entwicklung unterstützt. Diese Argumente werden jedoch schwächer, wenn weithin sichtbare Missbrauchsfälle auf offenen Plattformen offenbar leichter auszuführen sind als auf stärker kontrollierten kommerziellen Systemen. Die Glaubwürdigkeit der Governance offener KI dürfte zunehmend davon abhängen, zu beweisen, dass Offenheit und durchsetzbare Schutzmaßnahmen nebeneinander bestehen können.

Worauf als Nächstes zu achten ist

• Ob Hugging Face als Reaktion auf den Bericht die Moderation auf Modell-Hosting- oder Spaces-Ebene ändert.
• Ob Non-Profits, Journalisten oder Aufsichtsbehörden die Ergebnisse mit denselben einfachen Prompt-Methoden reproduzieren.
• Ob Plattformen beginnen, zwischen dem Hosten von Modelldateien und dem browserbasierten Verbrauchszugang zu riskanten Bildbearbeitungstools zu unterscheiden.
• Ob politische Entscheidungsträger die Generierung sexualisierter Deepfakes eher als Plattform-Governance-Problem denn nur als Nutzer-Missbrauch behandeln.

Die unmittelbare Erkenntnis ist klar. Der von The Verge beschriebene Bericht legt nahe, dass einige der sichtbarsten offenen KI-Infrastrukturen im Netz mit minimalem Aufwand zur Erstellung nicht einvernehmlicher sexualisierter Deepfakes genutzt werden können. Sollten sich diese Ergebnisse einer breiteren Prüfung stellen, wird das Argument, Repositorien seien bloß passive Host-Systeme, schwerer aufrechtzuerhalten sein.

Dieser Artikel basiert auf der Berichterstattung von The Verge. Den Originalartikel lesen.