Die rasante Entwicklung der künstlichen Intelligenz hat in diesem Monat einen neuen Meilenstein erreicht: mit Runway Gen-3 Alpha ist der erste frei zugängliche Text-zu-Video-Generator auf den Markt gegangen. In der kostenlosen Version können Nutzer*innen bereits jetzt 4 Sekunden Videos aus einem von ihnen eingegebenen Scripterstellen lassen.

Anfang des Jahres hatten die Ankündigung eines ähnlichen Modells durch den ChatGPT Betreiber OpenAI, „Sora“ für großes Aufsehen gesorgt. Welchen Einfluss üben diese Tools auf die Verbreitung von Desinformation aus – insbesondere auf Video-Plattformen wie TikTok?

Wie können wir manipulierte synthetische Medien erkennen und wie können wir mit jungen Menschen darüber ins Gespräch kommen, welche potenziellen Gefahren davon ausgehen?

von Eva Kappl

Themen  KI / Desinformation / TikTok / Deepfakes / Wahlen

Viele aktuelle Technologien, die als "KI" bezeichnet werden, finden bereits Anwendung bei der Verbreitung von Desinformation. Nicht hinter allem, was mittlerweile als "KI" bezeichnet wird, steckt auch tatsächlich komplexe künstliche Intelligenz. Dennoch gibt es einige Beispiele. Um nur einige davon zu nennen: KI-Textgeneratoren, also sogenannte Large Language Models (LLMs) wie ChatGPT, Google Gemini, oder Antrophics Claude erlauben es, schnell und einfach Texte zu erstellen. Diese können für die Erstellung falscher Artikel oder irreführender Social-Media-Beiträge genutzt werden. Text-zu-Bild-Generatoren wie beispielsweise Dall-E, MidJourney und Stable Diffusion erstellen Bilder aus Textbeschreibungen.

Text-zu-Sprache-Systeme wie beispielsweise ElevenLabs und ResembleAI können täuschend echte Stimmen imitieren. Ziel ist es, die Intonation, Betonung und den Rhythmus der menschlichen Sprache nachzuahmen. Dabei gibt es zahlreiche Angebote, die es einem Erlauben, die Stimmen von bekannten Persönlichkeiten wie Politiker*innen nahezu lebensecht nachzuahmen. Dafür reichen originale Audioaufnahmen der in der Öffentlichkeit stehenden Personen.

Kurz vor den Parlamentswahlen in der Slowakei im September 2023 machte eine gefälschte Audioaufnahme des slowakischen Politikers Michal Šimečka die Runde. In dieser angeblichen Aufnahme war zu hören, wie Šimečka, Vorsitzender der pro-westlichen Partei Progresívne Slovensko (PS), scheinbar über Wahlmanipulation und den Kauf von Stimmen sprach. Nur wenige Tage zuvor war bereits eine andere manipulierte Audioaufnahme aufgetaucht, in der Šimečka angeblich Pläne für eine drastische Erhöhung der Bierpreise nach der Wahl diskutierte. Beide Aufnahmen verbreiteten sich viral in den sozialen Medien.

Und auch auf TikTok wird diese Technologie bereits gezielt genutzt. Eine Analyse von NewsGuard deckte bereits 2023 ein Netzwerk von 17 TikTok-Accounts auf, die hyperrealistische KI-Sprach- und Bildtechnologien nutzen, um verschwörungsideologische Inhalte zu verbreiten. Diese Konten generierten bis September 2023 eine große Reichweite mit 336 Millionen Aufrufe und 14,5 Millionen Likes.

Besonders besorgniserregend ist dabei die Kombination KI-generierte Audios mit echten Bildern und Videos sowie KI-generierte Audiodateien allgemein, da diese von den Nutzenden und den Erkennungssystemen oft unerkannt bleiben. Zu diesem Schluss kommt auch das European Digital Media Observatory bei ihrer Analyse zu KI-generierter Desinformation vor der Europawahl: „AI-generated audios seem to pose the biggest risk: they are more difficult to debunk and can more easily trick users.“ 

Ein weiterer Aspekt ist die Verunsicherung, die bereits durch die Existenz fortschrittlicher KI-Technologien entsteht. Das wachsende Bewusstsein für KI-generierte Inhalte wird hier genutzt, um die Glaubwürdigkeit faktenbasierter Berichterstattung zu untergraben. Wahre Bilder, Videos oder Audioaufnahmen werden fälschlicherweise als KI-generierte Fälschungen bezeichnet. Diese Taktik schafft eine Atmosphäre, in der es zunehmend schwieriger wird, zwischen Realität und Fiktion zu unterscheiden und das Gefühl eintritt, man könnte nichts mehr glauben.

Social Media Plattformen haben bereits begonnen, Maßnahmen zu ergreifen, um gegen KI-gestützte Desinformation vorzugehen. Inhalte, die mit der Hilfe von KI erstellt wurden, müssen auf TikTok seit über einem Jahr gekennzeichnet werden und auch andere Plattformen wie Instagram, Facebook und YouTube haben diese KI-Label mittlerweile eingeführt.

Im Mai führte TikTok darüber hinaus die automatische Kennzeichnung von KI-generierten Inhalten (AIGC) ein, die von anderen Plattformen stammen. Hierfür implementiert TikTok eine „Content Credentials Technologie.“, diese fügt Metadaten zu Inhalten hinzu, die deren Ursprung und Bearbeitungsgeschichte nachverfolgen lassen.

Inhalte, die nicht gekennzeichnet wurden, können als solche gemeldet werden. Konten, die gegen diese Regeln verstoßen, werden laut den Community-Richtlinien von der Plattform eingeschränkt oder sogar verwiesen.

Das medienpädagogische Angebot von pre:bunk setzt hier an verschiedenen Stellen an. 

Noch ist es in vielen Fällen möglich, mithilfe von KI generierte Bilder zu erkennen. Es gibt einige Schritte, die man dabei nutzen kann. Es ist hilfreich, sich einige grundlegende Fragen zu stellen. 

Zuerst sollte man die Logik des Bildes überprüfen: Macht es denn Sinn, was hier dargestellt wird? Dies hilft, offensichtlich unlogische oder absurde Elemente zu identifizieren. Danach sollte man die Art des Bildes analysieren: Handelt es sich tatsächlich um ein Foto oder bspw. um eine digitale Zeichnung? 

Ein weiterer wichtiger Aspekt ist der Hintergrund des Bildes. Was ist dort zu sehen und passt es zum restlichen Bild? Auch die Details im Bild können verräterisch sein. Sind alle Elemente logisch und stimmig? Bei Bildern von Menschen sollten die Körperproportionen genau betrachtet werden. Sind die Hände, Füße, Haare und Zähne korrekt dargestellt? KI-generierte Bilder weisen oft Unstimmigkeiten in diesen Bereichen auf.

Wir wollen hier bewusst eine menschenfeindlichen und problematischen Inhalte reproduzieren und nutzen aus diesem Grund auch banalere Beispiele, um das Prinzip zu erklären, das kann inklusiver und niedrigschwellliger sein.

Schließlich kann eine umgekehrte Bildersuche hilfreich sein, die hilft den Ursprung eines Bilds oder Videos zu erkennen. So findet man auch oft Informationen darüber, ob es bereits Faktenchecks oder Hinweise darauf, dass das Bild KI-generiert ist. 

Auch das Hilfsmittel der Bilderrückwärtssuche und wie man diese anwenden kann, stellen wir auf unserem pre:bunk-Account anhand eines aktuellen Beispiels vor: 

Über das Thema Desinformation hinaus bringt das Thema Deepfakes aber noch weitere problematische Aspekte mit sich. Mittlerweile werden viele Entwicklungen vollständig oder synthetisch/digital manipulierter Inhalte als Deepfakes bezeichnet. Ursprünglich meinte dies jedoch eine sehr spezifische Art der digitalen Manipulation, insbesondere des Face Swappings. Das Gesicht einer Person kann so auf den Körper einer anderen Person übertragen werden. Auch hier besteht eine Täuschungsabsicht, mit dem Ziel einer Person zu schaden beziehungsweise diese abzuwerten. Nicht selten spielen hier auch Formen von gruppenbezogener Menschenfeindlichkeit eine Rolle

Eine Studie des Cybersicherheitsunternehmens "Home Security Heroes" aus dem Jahr 2023 kam zu dem Schluss, dass 98 Prozent Deepfakes nicht einvernehmlicher-pornografischer Natur sind und in 99 Prozent der Fälle Frauen Opfer solcher Deepfakes wurden.

Auch dieses Thema thematisieren wir auf dem pre:bunk Account:
Taylor Swift ging gegen, Deepfakes juristisch vor, aber nicht nur Stars sind betroffen. Ein Fall aus Spanien zeigt dies, wo Deepfake Inhalte von minderjährigen Mädchen ohne deren Einverständnis von Mitschülern angefertigt wurde.

Umso wichtiger ist die Sensibilisierung und der Austausch. Wenn wir mit jungen Menschen, über das Thema KI sprechen, können wir die folgenden Punkte thematisieren und anregen:

1. Kritisches Denken fördern: Junge Menschen ermutigen, innezuhalten, sich der Gefühle bewusst werden, die Inhalte verbreiten. diese Hinterfragen und kritisch analysieren
2. Technologisches Verständnis vertiefen: Grundlegende Funktionsweisen von KI-Technologien erklären, um ein besseres Verständnis der Nutzung, aber auch der Grenzen dieser zu ermöglichen. Dafür auch positive Anwendungsmöglichkeiten aufzeigen.
3. KI generierte Inhalte identifizieren lernen: Die Fähigkeiten zur Erkennung von KI-generierten Inhalten verbessern, mit Hilfe von Übungen und dem Ausprobieren von Tools, wie der Bilderrückwärtssuche.
4. Emotionale Auswirkungen thematisieren: Diskutieren, wie KI-generierte Falschinformationen Menschen emotional beeinflussen können. Unsicherheiten adressieren: wem und was kann ich überhaupt noch trauen? Wie werden diese Unsicherheiten von Akteur*innen auch ausgenutzt?  
5. Rechtliche Aspekte erläutern: Junge Menschen über ihre (Datenschutz-)Rechte und die rechtlichen Konsequenzen von Deepfakes aufklären. Welche Daten, sollte oder darf man nicht an eine KI geben?  
6. Prebunking Methoden zu KI anbieten: Jugendliche unterstützen die manipulative Nutzung von KI politisch einordnen zu können. Ziele von Desinformationskampagnen erkennen und benennen lernen. Verständnis für politische Motive und ideologische Hintergründe bei der Verbreitung von Falschinformationen entwickeln.

Doch hat die Welt der Desinformation mit der Entwicklung von KI-Technologien tatsächlich eine neue Dimension erreicht? Während Werkzeuge zur Bildmanipulation wie Photoshop schon seit Jahrzehnten existieren, stellt sich die Frage: Was ist in Bezug auf KI-generierte Desinformation wirklich neu?
Der entscheidende Unterschied liegt in mehreren Faktoren: Zum einen ermöglichen KI-Tools die Erstellung einer enormen Menge an Inhalten in kürzester Zeit. Was früher Stunden oder Tage in Anspruch nahm, kann nun in Minuten produziert werden. Zudem sind viele dieser KI-Anwendungen kostengünstig oder sogar frei verfügbar, was die finanzielle Hürde für potenziellen Missbrauch erheblich senkt. Im Gegensatz zu komplexen Bildbearbeitungsprogrammen erfordern KI-Tools oft keine tiefgreifenden technischen Kenntnisse oder Fähigkeiten. Ihre intuitive Bedienung macht sie einem breiten Nutzer*innenkreis zugänglich. Nicht zuletzt werden die von KI generierten Inhalte zunehmend überzeugender und kohärenter. Diese Kombination aus Geschwindigkeit, Zugänglichkeit, Einfachheit und Qualität schafft ein neues Potenzial für die Verbreitung von Desinformation. 

Nichtsdestotrotz: Betrachtet man die Desinformations-Trends auf TikTok rund um die Europawahl, wird deutlich, dass viele der kursierenden Falschinformationen von Nutzer*innen stammen und ohne das Mitwirken von KI verbreitet wurden. Besonders das Narrativ der Wahlmanipulation tauchte hier immer wieder auf. So wurden Begebenheiten ganz einfach falsch dargestellt: 

In einem viralen TikTok wurden beispielsweise Stimmzettel, die für die Juniorwahl an einer Schule verwendet und anschließend entsorgt wurden, aus dem Kontext gerissen und als ein angeblicher Beweis für Wahlmanipulation verwendet. Doch auch ohne jegliche Video- oder Bildbeweise, verbreiteten User*innen diese Falschbehauptung der geschredderten Stimmzettel. Correctiv berichtete über beide Fälle.

In diesem TikTok wurde behauptet, bei geschredderten Stimmzetteln handelte es sich um echte, dabei waren diese von der Probewahl an einer Schule.

Während KI-Technologien die Erstellung und Verbreitung von Falschinformationen erleichtern können, ist das noch lange nicht der Standard. Es bleibt jedoch wichtig, einen ausgewogenen Blick auf die Situation zu behalten. Aktuelle Gesetzesinitiativen, zur Regulierung von KI-generierten Inhalten zeigen, dass auch auf politischer Ebene bereits an Lösungen gearbeitet wird. Die Stärkung der Medienkompetenz bleibt ein zentraler Ansatz, um den Herausforderungen durch KI-generierte Desinformation angemessen zu begegnen.

Die Arbeit von vielen zivilgesellschaftlichen Initiativen kann durch die geplanten Haushaltskürzungen des Bundes betroffen sein. Unterstützen Sie die Petition "Demokratieförderung in Gefahr: Kürzungen jetzt stoppen!" und setzen Sie ein Zeichen für die Stärkung unserer Demokratie. #GeradeJetztFuerAlle

Artikel “Wahlbetrugsnarrative auf TikTok nach der Europawahl”

Zur Frage, wie Content Creation und Digital Streetwork zusammen gehen. preb:unk im Interview mit BelltowerNews

Mehr Wissen rund um das Thema Desinformation und Wahlen gibt es auch im Podcast von Faktenstark