Der 25-Millionen-Anruf

Anfang 2024 saß ein Finanzmitarbeiter des Ingenieurkonzerns Arup in Hongkong in einer Videokonferenz. Am Bildschirm: der Finanzvorstand aus London, dazu mehrere bekannte Kolleg:innen. Sie baten um eine Reihe vertraulicher Überweisungen. Der Mann war sogar misstrauisch geworden – eine der Mails roch nach Phishing. Doch im Videocall ließ er die Zweifel fallen. Die Gesichter stimmten. Die Stimmen stimmten. Er überwies in fünfzehn Transaktionen rund 25 Millionen US-Dollar.

Es gab keine Kolleg:innen in diesem Call. Jede einzelne Person darin war ein Deepfake, zusammengesetzt aus öffentlich verfügbarem Material. Das Geld ist bis heute weg, niemand wurde gefasst.

Der Fall ist deshalb so lehrreich, weil hier kein leichtgläubiger Laie hereinfiel, sondern ein gewarnter Profi – und dem genau das zum Verhängnis wurde, was wir alle für unbestechlich halten: das eigene Sehen und Hören. Wenn das bei ihm passiert, lohnt sich die ehrliche Frage, wie es um den Rest von uns steht.

Der blinde Fleck, den wir nicht spüren

Die Antwort der Forschung ist unbequem. Eine Meta-Analyse aus dem Jahr 2024, die 56 Einzelstudien mit über 86.000 Teilnehmenden zusammenfasst, kommt auf eine durchschnittliche Erkennungsrate von 55 Prozent. Das klingt nach „etwas besser als Zufall", ist es statistisch aber nicht: Die Schwankungsbreite schließt die 50-Prozent-Marke ein. Wir raten – mit einem Hauch von Glück.

Aufgeschlüsselt nach Art der Fälschung verschiebt sich das Bild nur graduell: bei Audio liegen wir bei 62 Prozent, bei Video bei 57, bei Bildern bei 53 – und bei Text bei 52 Prozent, also praktisch beim Münzwurf. Gerade beim Text wird es brisant. Eine Studie von 2025 zeigte, dass GPT-4 in einem klassischen Turing-Test in 54 Prozent der Fälle für einen Menschen gehalten wurde – obwohl die Testpersonen ausdrücklich KI enttarnen sollten.

Der eigentlich beunruhigende Befund ist aber ein anderer: Unsere Selbstsicherheit hat mit unserer Trefferquote nichts zu tun. Wer danebenliegt, ist genauso überzeugt wie, wer richtig liegt.

Wir sind nicht nur schlecht darin, Fälschungen zu erkennen. Wir sind blind für diese Schwäche – und das macht uns angreifbar.

Ein Wort zur Vorsicht, weil eine Zahl gerade durch jede Schlagzeile geistert: Sie werden lesen, „nur 0,1 Prozent der Menschen können Deepfakes erkennen". Die Zahl stammt aus einer Erhebung des Biometrie-Unternehmens iProov – also eines Anbieters, der Erkennungstechnik verkauft und dessen Studienfazit folgerichtig lautet, man möge sich nicht auf Menschen verlassen. Vor allem aber ist sie missverstanden: Die 0,1 Prozent meinen, dass von 2.000 Personen ganze zwei sämtliche vorgelegten Bilder und Videos fehlerfrei einordneten. Das ist ein „alles oder nichts"-Maßstab, keine Erkennungsrate. Die ehrliche Zahl bleibt: rund 55 Prozent. Schlimm genug. Man muss sie nicht aufblasen – und schon gar nicht mit den Zahlen derer, die an der Angst verdienen.

Der Wettlauf, den die Wahrnehmung verliert

Während unsere Wahrnehmung stehen bleibt, wird die Technik rasant besser und billiger. Verifizierungsdienste wie Sumsub berichten von einer Verzehnfachung der Deepfake-Vorfälle zwischen 2022 und 2023 und einer weiteren Vervierfachung bis 2024. Solche Zahlen stammen von Firmen mit Geschäftsinteresse und beruhen auf internen Plattformdaten, nicht auf repräsentativen Stichproben – als grobe Richtungsangabe taugen sie trotzdem. Und die Richtung zeigt steil nach oben.

Die bequeme Hoffnung, dann eben Maschinen die Maschinen entlarven zu lassen, trügt. Ein Benchmark von 2024 testete führende automatische Erkennungssysteme an echten, im Netz kursierenden Deepfakes statt an sauberen Labordaten. Die Trefferleistung brach um rund die Hälfte ein. Schon die Komprimierung, mit der soziale Netzwerke jedes Video bearbeiten, zerstört die feinen Spuren, an denen Detektoren ansetzen.

Es gibt kein Knöpfchen, das uns das Urteilen abnimmt. Weder im Kopf noch in der Cloud.

Bei Wahlen ist die Wirkung real, aber überschätzt. Kurz vor der slowakischen Parlamentswahl 2023 kursierte ein gefälschtes Tonband eines Parteichefs, lanciert ausgerechnet in der gesetzlichen Stillschweige-Phase, in der Medien kaum gegenhalten durften. In den USA rief ein per KI geklonter Joe Biden Wähler:innen per Telefon zum Daheimbleiben auf. Messbar das Ergebnis verändert haben Deepfakes bislang nur in wenigen Fällen – und selbst dort waren sie nicht allein wahlentscheidend. Der größere Schaden ist diffuser. Dazu gleich.

Die unbequeme Wahrheit: ein Werkzeug vor allem gegen Frauen

Wer über Deepfakes spricht, denkt an Konzernbetrug und Wahlkampf. Die mit Abstand häufigste Anwendung ist eine andere. Verschiedene Untersuchungen kommen übereinstimmend zu dem Befund, dass zwischen 96 und 98 Prozent aller im Netz kursierenden Deepfake-Videos nicht-einvernehmliche pornografische Inhalte sind – und dass sich davon rund 99 Prozent gegen Frauen richten. Zwischen 2019 und 2024 ist dieses Material um schätzungsweise das Achtzehnfache gewachsen.

Das ist keine Randnotiz. Das ist der Kern der Sache. Deepfakes sind in erster Linie ein Instrument geschlechtsspezifischer Gewalt und Einschüchterung – und das hat eine unmittelbar politische Dimension. Wer eine Aktivistin, eine Journalistin, eine Mitarbeiterin einer Menschenrechts- oder Migrationsorganisation mundtot machen will, braucht heute keine Drohung mehr. Ein gefälschtes intimes Video reicht, um sie öffentlich zu beschädigen, einzuschüchtern und aus dem Diskurs zu drängen.

Die Technik verschiebt Machtverhältnisse – und zwar zulasten derer, die ohnehin angreifbarer sind.

Eine Debatte, die Deepfakes nur als Sicherheitsproblem von Konzernen behandelt, verfehlt genau die Menschen, die am meisten zu verlieren haben. Für jede Organisation, die mit verletzlichen Gruppen arbeitet, ist das kein Tech-Thema. Es ist ein Schutzthema.

Das naheliegende Gegengift – und seine Grenzen

Wenn unser Urteil so leicht zu täuschen ist, liegt der Ruf nach mehr Kompetenz nahe: Menschen müssen lernen, kritischer hinzusehen. Und tatsächlich – das ist die gute Nachricht – wirkt das. Eine Meta-Analyse von 2024 über 49 Experimente mit rund 81.000 Personen zeigt, dass Medienkompetenz-Trainings die Fähigkeit, Wahres von Falschem zu unterscheiden, deutlich verbessern und das Weiterverbreiten von Falschmeldungen spürbar senken. Ein verwandter Ansatz, das sogenannte „Prebunking", impft Menschen vorab gegen typische Manipulationsmuster – kurze Erklärvideos über emotionale Sprache, falsche Entweder-oder-Logik, Sündenbock-Erzählungen. Für Cent-Beträge an Millionen ausspielbar.

So weit, so ermutigend. Nur hält die Wirkung der näheren Betrachtung nicht ganz stand.

Erstens verblasst der Effekt. Was heute geimpft wurde, ist in einigen Wochen weitgehend verpufft, wenn nicht nachgeimpft wird. Zweitens wirken die Trainings dort am stärksten, wo ohnehin schon Bildung sitzt – bei Studierenden mehr als in der breiten Bevölkerung. Kompetenz sammelt sich also dort an, wo sie schon ist, statt die Lücke zu schließen. Drittens zeigt eine groß angelegte Studie, dass ein Programm, das in den USA gut funktionierte, in Indien praktisch keinen Effekt auf den Glauben an konkrete Falschmeldungen hatte. Und viertens: Im echten, ablenkungsreichen Social-Media-Alltag bleibt von den schönen Laborergebnissen oft erstaunlich wenig übrig.

KI-Kompetenz ist also ein wirksames Werkzeug. Aber als individuelle Maßnahme, die man Menschen einmal verabreicht und dann sich selbst überlässt, verpufft sie.

Wenn Skepsis zur Waffe wird

Es kommt ein Problem hinzu, das selten mitgedacht wird. Je mehr Menschen wissen, dass es Deepfakes gibt, desto leichter lässt sich auch echtes Material als Fälschung abtun. Politikwissenschaftler:innen nennen das die „Lügendividende": Wer bei einem belastenden Video einfach „Deepfake!" oder „Fake News!" ruft, entzieht sich der Verantwortung. Studien zeigen, dass solche Pauschal-Dementis Politiker:innen nach Skandalen tatsächlich Rückhalt sichern – über Lagergrenzen hinweg.

Damit kann mehr „Kompetenz" im Sinne reflexhafter Skepsis die Urteilsfähigkeit sogar weiter untergraben. Wer allem misstraut, glaubt am Ende nicht weniger Unsinn, sondern mehr. Untersuchungen finden, dass die wirksamsten Hinweise nicht nur Misstrauen säen, sondern zugleich Vertrauen in verlässliche Quellen stärken.

Das Ziel ist nicht mehr Misstrauen. Es ist kalibriertes Vertrauen – und das ist sehr viel schwerer zu lehren als bloßer Zweifel.

Das eigentliche Problem ist strukturell

Hier lohnt es, einen Schritt zurückzutreten und zu fragen, warum die Erzählung „mehr individuelle Kompetenz" überhaupt so attraktiv ist. Sie ist attraktiv, weil sie bequem ist – für die Falschen.

Desinformation gedeiht nicht im luftleeren Raum, sondern in einer Ökonomie, die sie belohnt. Die Geschäftsmodelle der großen Plattformen leben von Aufmerksamkeit, und Aufmerksamkeit erzeugt am zuverlässigsten, was empört, ängstigt und polarisiert. Shoshana Zuboff hat diese Logik als Überwachungskapitalismus beschrieben: Menschliches Verhalten wird vermessen, vorhergesagt und in Werbeeinnahmen verwandelt – und die Algorithmen, die dabei helfen, bevorzugen strukturell das Erregende vor dem Wahren. Deepfakes sind in diesem System kein Störfall. Sie sind hochwirksamer Treibstoff.

Vor diesem Hintergrund ist der Ruf „Bildet euch besser!" mehr als nur unzureichend. Er ist eine Verschiebung von Verantwortung. Ein strukturelles Problem, erzeugt von Plattformen, die am Status quo verdienen, wird zur persönlichen Hausaufgabe der Einzelnen umdeklariert.

So wie die Industrie das Müllproblem zur Frage individueller Recycling-Moral umgedeutet hat, wird hier das Desinformationsproblem zur Frage individueller Medienkompetenz. Und die Profiteure bleiben aus dem Schussfeld.

Kompetenz ohne strukturelle Antwort ist Symptompolitik. Wer sie als einziges Gegengift verkauft, meint es vielleicht gut – arbeitet aber denen zu, die vom jetzigen Zustand profitieren.

Was wirklich hilft: Kompetenz plus Struktur

Dass Kompetenz funktioniert, wenn man sie richtig anlegt, zeigt ausgerechnet das Land, das in Sachen Desinformations-Resilienz seit Jahren Europas Spitze bildet: Finnland. Dort steht Medienkompetenz nicht als Wochenend-Workshop in der Landschaft, sondern zieht sich von der Kita bis zur Oberstufe durch das Bildungssystem – getragen von Lehrer:innenausbildung, Bibliotheken, einer freien Presse und einem hohen gesellschaftlichen Grundvertrauen. Finnlands Erfolg ist kein Beleg für die Kraft individueller Anstrengung. Er ist ein Beleg für die Kraft einer kollektiv organisierten Antwort.

Neben der Bildung braucht es Hebel, die am System selbst ansetzen. Die EU-KI-Verordnung verpflichtet ab August 2026 dazu, Deepfakes und KI-generierte Inhalte zu kennzeichnen, ergänzt um maschinenlesbare Wasserzeichen. Herkunftsnachweise wie der C2PA-Standard können die Echtheit von Aufnahmen kryptografisch belegen – ein sinnvoller Ansatz, der allerdings ehrlich benannt gehört: Er ist freiwillig, lückenhaft umgesetzt und nicht fälschungssicher. Ein Baustein, keine Lösung. Und schließlich führt kein Weg daran vorbei, die Plattformen selbst stärker in die Haftung zu nehmen, statt allein an die Wachsamkeit ihrer Nutzer:innen zu appellieren.

KI-Kompetenz gehört in diesen Werkzeugkasten – als ein Instrument neben Regulierung, technischen Standards, Plattformverantwortung und öffentlich finanzierter Bildung. Nicht als Wundermittel. Als ein Hebel unter mehreren.

Was Organisationen jetzt tun können

Für gemeinnützige Organisationen, Verbände und kleinere Unternehmen heißt das ganz konkret: Verlassen Sie sich nicht auf das Bauchgefühl Ihrer Mitarbeitenden. Führen Sie feste Verifikationsroutinen für Zahlungen und sensible Auskünfte ein – ein zweiter Kanal, eine Rückrufnummer, ein vereinbartes Codewort wiegen mehr als jede noch so überzeugende Videokonferenz. Sensibilisieren Sie Ihr Team nicht einmalig, sondern wiederkehrend, denn auch die beste Schulung verblasst. Behandeln Sie Wachsamkeit als gemeinsame Aufgabe der Organisation, nicht als Bringschuld jeder einzelnen Person. Und treten Sie dort, wo Sie politisch Gewicht haben, für Regeln ein, die die Verantwortung dahin verlagern, wo sie hingehört.

Die Urteilsfähigkeit, die uns als Einzelne abhandenkommt, lässt sich nicht individuell zurückgewinnen. Aber sie lässt sich kollektiv organisieren.

Für mich als Berater heißt das: Ich verkaufe keine Wunderpille gegen Deepfakes – die gibt es nicht. Ich helfe Organisationen, KI-Kompetenz so aufzubauen, dass sie trägt: eingebettet in Abläufe, geteilt im Team, verstanden als Schutz der Menschen, mit denen sie arbeiten. Wer das angehen will, muss es nicht allein tun.

Quellen

Urteilsfähigkeit lässt sich nicht kaufen – aber organisieren. Ihr wollt KI-Kompetenz in eurer Organisation so aufbauen, dass sie trägt?

Erstgespräch buchen