Meta hat eine Klage gegen das Unternehmen Joy Timeline HK Limited mit Sitz in Hongkong eingereicht. Der Vorwurf: Die Firma habe mithilfe ihrer App CrushAI verbotene Inhalte verbreitet und systematisch die Werberichtlinien von Facebook und Instagram unterlaufen. Die App erzeugt mithilfe künstlicher Intelligenz sexualisierte Deepfakes, meist ohne Einwilligung der abgebildeten Personen.
Netzwerk aus Fake-Konten ermöglichte zehntausende Anzeigen
Laut der Klageschrift baute Joy Timeline ein Netzwerk aus mindestens 170 gefälschten Geschäftskonten auf. Über 55 Nutzer verwalteten mehr als 135 Facebook-Seiten. Darüber sollen über 87.000 Anzeigen geschaltet worden sein, die gegen Metas Standards verstoßen. Die Anzeigen richteten sich an Nutzer in den USA, Großbritannien, Australien, Deutschland und Kanada.
Inhaltlich warben die Kampagnen mit Versprechen wie „Foto hochladen und entkleiden“ oder „Nacktbilder per Klick“. Die KI-Funktion von CrushAI ermöglichte es, aus Porträtfotos entkleidete Versionen zu erzeugen – ohne Zustimmung der betroffenen Personen.
Künstliche Intelligenz trifft auf unzureichenden Schutz
Die Kombination aus leistungsfähiger Bild-KI und versteckter Werbung über soziale Netzwerke führte dazu, dass schädliche Inhalte massenhaft verbreitet wurden. Dabei verstießen die Anzeigen direkt gegen Metas Richtlinien zu Privatsphäre, sexueller Ausbeutung und Einwilligung. Der Konzern räumt ein, Schwierigkeiten gehabt zu haben, diese Verstöße frühzeitig zu erkennen.
Politik stellt Meta zur Rede
Mehrere Medienberichte enthüllten Anfang des Jahres das Ausmaß der Deepfake-Werbung auf Facebook und Instagram. Nach Veröffentlichung dieser Recherchen schrieb US-Senator Dick Durbin einen offenen Brief an Mark Zuckerberg. Er forderte Antworten dazu, wie die Plattform derart missbräuchliche Werbung dulden konnte.
Gesetzgebung verschärft sich nach prominenten Deepfake-Fällen
Bekannte Persönlichkeiten wie Taylor Swift und Alexandria Ocasio-Cortez waren bereits Opfer nicht-einvernehmlicher KI-Bilder. Auch zahlreiche Schülerinnen in den USA wurden mit gefälschten Nacktbildern konfrontiert. Die US-Regierung reagierte mit dem „Take It Down Act“, der Plattformen zu raschem Eingreifen verpflichtet.
Meta setzt auf neue Filtertechnologie und externe Partner
Als Gegenmaßnahme entwickelte Meta ein neues Erkennungssystem, das Begriffe, Symbole und typische Formulierungen problematischer Anzeigen automatisch identifizieren kann. Selbst wenn die Bilder selbst unauffällig sind, soll die Kombination sprachlicher Hinweise die Moderation erleichtern. Die Entwicklung erfolgte gemeinsam mit Fachleuten aus dem Bereich KI-Moderation.
Betreiber wechseln Domains und täuschen Prüfmechanismen
Die Verantwortlichen hinter CrushAI agieren laut Meta mit ständig wechselnden Webseiten und unauffälligen Inhalten, um nicht entdeckt zu werden. Sie nutzen diese Taktiken gezielt, um automatisierte Prüfprozesse zu umgehen. Der Konzern beschreibt die Lage als „ständig wechselndes Spielfeld“, in dem finanzielle Interessen die Hauptmotivation seien.
Kooperationsnetzwerk soll Ausbeutung im Netz bremsen
Im Rahmen der Initiative „Lantern“ arbeitet Meta mit anderen großen Tech-Plattformen zusammen. Die von der Tech Coalition gegründete Partnerschaft ermöglicht den Austausch sicherheitsrelevanter Informationen. Ziel ist es, die Verbreitung von Deepfake-Apps und kindeswohlgefährdenden Inhalten gemeinsam zu bekämpfen.
Abbau automatischer Moderation wird zur Gefahr
Seit Anfang 2025 konzentriert Meta seine automatisierte Inhaltsprüfung nur noch auf schwerwiegende Verstöße wie Terrorismus, Kindesmissbrauch oder Betrug. Inhalte wie Deepfakes müssen gemeldet werden, bevor sie geprüft werden. Sicherheitsorganisationen kritisieren diesen Rückzug aus der proaktiven Kontrolle scharf.
Meta verlangt Schadensersatz und will Wiederholungen verhindern
Die Klage fordert 289.000 US-Dollar Entschädigung für interne Untersuchungen, technische Maßnahmen und regulatorische Antworten. Ziel ist es, Joy Timeline dauerhaft von Metas Werbeplattformen auszuschließen – und die Verbreitung sexualisierter KI-Bilder künftig effektiv zu unterbinden.
