Heise 07.07.2026
09:32 Uhr

Software vom BSI und Fraunhofer: Wie KI ihre eigenen Deepfakes entlarvt


Forschende vom Fraunhofer-Institut und Bundesamt für Sicherheit haben ein neues Verfahren entwickelt, um Deepfakes zu erkennen. Doch es bietet noch mehr.

Software vom BSI und Fraunhofer: Wie KI ihre eigenen Deepfakes entlarvt

Die Zeiten, in denen sich mithilfe von künstlicher Intelligenz erstellte Bilder und Videos noch zuverlässig an zermatschten oder fehlenden Fingern erkennen ließen, sind vorbei. Die heutigen großen Sprachmodelle können nicht nur anatomisch korrekte Gliedmaßen darstellen, sondern beherrschen auch realistische Schattenwürfe und können sogar den Herzschlag imitieren. Das erschwert die Unterscheidung zwischen Wahrheit und Fälschung, zwischen tatsächlicher Aufnahme und Deepfake.

Dabei sind Deepfakes längst ein großes Problem. Und ob die geplanten Gesetzesverschärfungen vonseiten der EU etwas daran ändern, darf bezweifelt werden. Deshalb gibt es Bemühungen, technische Lösungen zu finden, um gefälschte Inhalte zuverlässig zu erkennen – etwas, das angesichts der sich ständig weiterentwickelnden Modelle einfacher gesagt ist als getan.

„Insbesondere bei automatisierten Detektionsmethoden sollte darauf hingewiesen werden, dass sie häufig nur unter gewissen Rahmenbedingungen zuverlässig funktionieren“, schreibt das Bundesamt für Sicherheit in der Informationstechnik (BSI). Gemeinsam mit dem Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB arbeitet das BSI selbst an neuen Methoden gegen die Fälschungen. Mit RealOrRender haben sie , das Deepfakes nicht nur erkennen soll, sondern im Sinne erklärbarer KI nachvollziehbar macht.

RealOrRender verfolgt einen zweiteiligen Ansatz: „Im ersten Schritt rekonstruieren wir das Bild mit einem KI-Bildgenerator. Anschließend übernimmt ein KI-Modell die Klassifizierung und berechnet hybrid den Rekonstruktionsfehler“, sagt Andreas Specker, Senior Scientist der Forschungsgruppe Videogestützte Sicherheits- und Assistenzsysteme am IOSB in einer Pressemitteilung.

Das entwickelte Verfahren erkennt dieses Bild mit einer Wahrscheinlichkeit von 100 Prozent als Deepfake. (Foto: Fraunhofer IOSB)

Vereinfacht gesagt nimmt das System ein Bild und verarbeitet es mithilfe eines vorab trainierten Diffusion-Modells. Dabei „malt“ eine KI das Original gewissermaßen rückwärts nach, wobei sowohl eine Noise Map, quasi ein mathematischer Fingerabdruck des Bildes, als auch am Ende eine Rekonstruktion entstehen. Das Original wird also noch einmal bewusst gefälscht.

Parallel dazu scannt das System das Bild nach Fehlern. Die Idee: Wenn es sich bei dem Original um ein Deepfake handelt, dann ähnelt dessen mathematischer Fingerabdruck auch der Rekonstruktion von RealOrRender. Handelt es sich beim Original dagegen um ein echtes Foto, dann entstehen mehr Rekonstruktionsfehler, weil ein echtes Foto mehr Ungenauigkeiten und natürliches Rauschen enthält.

Das System berechnet, unter Zuhilfenahme eines Trainingsdatensatzes von rund 120.000 Bildern aus 18 Bildgeneratoren, die vermutete Abweichung und gibt letztlich eine Einschätzung, ob es sich um einen Deepfake handelt. Wie die Forschenden des IOSB schreiben, soll die Erkennungsleistung zwischen 85 und 91 Prozent liegen.

Rekonstruiertes Bild als Heatmap: XAI-Erklärungen für das Bild, auf dem eine Person als Fälschung erkannt wurde. (Bild: Fraunhofer IOSB)

Die Identifizierung von Deepfakes wird bei RealOrRender um die Komponente Erklärbarkeit erweitert, Stichwort explainable AI (XAI). Das System erzeugt am Ende der Analyse eine Heatmap, auf der jene Details des Originals markiert sind, die auf eine Fälschung hindeuten, „einschließlich Merkmalen wie Gesicht, Haaren und Händen sowie die Einbeziehung von Objekten im Hintergrund“, heißt es in der Studie.

Somit können sowohl die Expertinnen und Experten als auch möglicherweise eines Tages die Anwenderinnen und Anwender besser nachvollziehen, welche Details das System als Indiz für Deepfakes gefunden hat. XAI-Ansätze helfen außerdem dabei, den Modellen und ihren Ergebnissen zu vertrauen. Innerhalb des BSI soll RealOrRender bereits in Form eines Demonstrators im Einsatz sein.

Dieser Beitrag ist zuerst auf t3n.de erschienen.

(jle)