Nach dem Hugging-Face-Hack: Was jetzt auf die IT zukommt

Der Hack von OpenAIs KI-Agenten bei Hugging Face hat gewaltig Staub aufgewirbelt. Nun ist nüchterne Analyse der Vorgänge gefragt: Welche Herausforderungen für die Sicherheit lassen sich ableiten? Frank Ully, Titelautor der neuen iX 10/2026, erklärt im Interview, welche Lehren man daraus ziehen kann.

Das Motiv steht erst in den Nachberichten von Ende August, bei OpenAI selbst und bei den unabhängigen Stellen METR und Redwood. Schon Stunden nach dem Einrichten ihres schwarzen Bretts rechnen die Agenten den Prüfwert zurück, mit dem der Benchmark seine Lösungen signiert. Damit können sie jede Aufgabe beantworten. Sie vermuten aber fälschlicherweise, ein Bewerter liest die Protokolle mit und prüft, ob die Lösung über die vorgesehene Lücke gefunden wurde. Also suchen sie eine legitim aussehende Herkunft für den Lösungsnachweis. Der Einbruch bei Hugging Face entsteht aus dieser Suche.

Danach kommt klassische Netztrennung. Der Paketproxy ist die einzige Netzverbindung der Sandbox, und das Labor missbraucht ihn als Sicherheitsgrenze zum Internet. In dieser Umgebung hacken Agenten mit heruntergesetzten Sicherungen herum. Zwischen diese und das Firmennetz plus offenes Internet gehört echte Segmentierung. Ein vollständiger Air Gap ohne jede Netzverbindung funktioniert in der Praxis aber wohl nicht, dafür brauchen solche Umgebungen oft zu viele Daten aus dem Internet.

Eine weitere Stellschraube ist technisch trivial: den Lauf abbrechen. Ende Mai bemerkt ein OpenAI-Team bereits die Aktivität auf dem schwarzen Brett und unerlaubte Internetzugriffe. Der Befund dringt jedoch nicht bis zu den Verantwortlichen durch. Gerade wenn ein Abbruch richtig teuer ist, muss vorher feststehen, wer ihn wann und weshalb anordnen darf, sonst übernimmt niemand die Verantwortung.

Wie die Reaktion aussehen sollte, führte wenige Wochen später das britische AI Security Institute vor. Auch dort gehen Agenten auf Dritte los, einer versucht mit gefälschten Identitäten, Schadcode in ein Open-Source-Projekt zu bringen. Die Überwachung meldet Daten, die ein Testsystem über das Tor-Netz verlassen. Das Institut erklärt einen Sicherheitsvorfall, stoppt alle zugehörigen Evaluationen, sperrt den internen Zugang zu den stärksten Modellen und isoliert die Maschinen – alles in einer Stunde. Verhindern kann es das so wenig wie OpenAI. Aber es hat geübt, wie man es bemerkt und einhegt. Die Five-Eyes-Behörden geben dazu Hausaufgaben für den Agentenbetrieb, unter anderem: eigene Identität pro Agent statt geteilter Token, Rechteprüfung bei jedem Zugriff, kurzlebige Zugangsdaten für heikle Aktionen, Obergrenzen für Laufzeit und Werkzeugaufrufe.

Die Verteidiger bei Hugging Face haben mehrere Merkmale notiert, an denen sie den maschinellen Charakter erkannt haben. Alle stehen auch im Post mortem der Cloud Security Alliance. Die praktischsten sind neben der Geschwindigkeit: KI-Angreifer wiederholen Aktionen, die schon funktioniert haben. Auf einen technisch starken Zug folgt oft ein falscher oder sinnloser Befehl. Und sie schlampen bei der eigenen operativen Sicherheit: Die Agenten lassen unter anderem den Schlüssel liegen, mit dem sie ihre Daten verschlüsselt haben. KI-Systeme verfolgen viele Angriffswege parallel, und der Code ihrer Schadsoftware ist erkennbar maschinell erzeugt. Für künftige Angriffe müssen diese Merkmale allerdings nicht mehr gelten, sobald Modelle und ihre Instrumentierung besser werden oder ein erfahrener Mensch am Steuer sitzt. Immerhin hinterlassen Agenten Spuren, die es vorher oft nicht gab: Sitzungsprotokolle, Aufgabenlisten, ganze Arbeitsverzeichnisse. Fast alle belastbaren Fälle aus den öffentlichen Berichten über KI-Angreifer verdanken wir solchen Schnitzern.

KI-Systeme rumpeln durch die angegriffene Umgebung wie ein Elefant durch den Porzellanladen ... allerdings ein Elefant auf Speed. Hat man ein funktionierendes Monitoring, wird es Alarme hageln. Verlassen sollten Verteidiger sich darauf nicht. Eine Antwort heißt Täuschung, neudeutsch Deception. Ein Honeypot braucht weder Schwellenwerte noch die Summe mehrerer Ereignisse und verursacht prinzipiell weniger Fehlalarme. OpenAI empfiehlt Honigtoken ausdrücklich, Hugging Face vermerkt selbstkritisch ihr Fehlen.

2026 ist das so gesehen schon Alltag. Im Juli finden Incident Responder auf einem Angreifersystem die Berichte, die Claude über den eigenen Angriffspfad geschrieben hatte, samt gefälschtem Pentest-Auftragsschreiben. Im August lässt ein russischsprachiger Krimineller den Cursor-Agent die komplette Arbeit nach dem Erstzugang machen, nicht nur vorschlagen. Im September findet ein Forscher auf einem offenen Windows-Server die Erpressungsfabrik eines Ransomware-Affiliates, drei Terabyte von über 30 Firmen. Der Mensch liefert nur Adresse und Zugangsdaten aus Infostealer-Protokollen, alles danach macht der Agent.

Angreifer nehmen seit jeher den Weg des geringsten Widerstands. Solange ein 08/15-Playbook oder ein Ransomware-as-a-Service-Abo reicht, baut sich niemand einen Agentenschwarm. Sobald KI Arbeitszeit spart oder Ziele erschließt, die vorher zu mühsam oder außer Reichweite waren, setzen gerade Kriminelle sie ein. Und das sehen wir gerade.

Man kann einwenden, dass viele dieser Berichte von Firmen kommen, die entweder das Modell gebaut haben oder die KI-fizierte Abwehr verkaufen. So, in etwa: Wer lange genug mit der Lupe nach KI-Spuren sucht, findet auch welche. Nur stammen die belastbarsten Fälle von Incident Respondern und unabhängigen Sicherheitsforschern. Und wie diese Fälle meist überhaupt ans Licht kommen: durch offene Verzeichnisse auf Angreifer-Websites oder versehentlich gestartete Dateiserver. Wir sehen also nicht alle KI-gestützten Hacks, sondern die auffälligen, bei denen die Angreifer bei ihrer operativen Sicherheit geschlampt haben.

Ganz auf der grünen Wiese bauen muss sich so ein KI-Angriffssystem ohnehin niemand. Inzwischen gibt es Dutzende quelloffene Pentest-Agenten. Wer solides IT-Grundwissen hat, sich darin einarbeitet und weiß, wie man um die Cyber-Verweigerungen öffentlicher Modelle herumkommt, kommt damit nach initialem Zugriff etwa in einem durchschnittlichen, kaputten Active Directory in 30 Minuten bis vier Stunden hinten als Domänenadmin raus.

Solche Lücken schließen Admins schon mit Bordmitteln, und sie sollten prüfen, ob das, was sie einsetzen, nicht grob fehlkonfiguriert ist: das eigene Active Directory etwa, Microsoft 365, Entra ID und sonstige Clouds oder eben ein Kubernetes-Cluster. Dabei helfen kostenlose Tools wie PingCastle, ScubaGear oder Prowler.

Bei der Detektion hat sich nicht das Drehbuch geändert, sondern das Tempo, mit dem Sicherheitsverantwortliche und Admins es abarbeiten müssen. Und eine Reaktion auf einen Sicherheitsvorfall sollten sie auch üben, bevor es ernst wird.

Aber wer als Verteidiger künftig ganz auf KI-Unterstützung verzichtet, wo sie möglich und sinnvoll ist, beispielsweise bei Quelltextanalyse, läuft dem Tempo der Gegenseite auf Dauer hinterher – so ungern man das auch hört. Wer sich allein davon die Rettung erhofft, liegt aber falsch, denn die Liste der eigentlich grundlegenden Dinge, die jetzt dringend passieren müssen, ist schon seit Jahrzehnten bekannt. Diesmal muss man sie halt wirklich machen.

Nach dem Hugging-Face-Hack: Was jetzt auf die IT zukommt

Der Hugging-Face-Hack hat gezeigt, wozu KI-Agenten in Sachen Hacking imstande sind. Für IT-Verantwortliche lohnt sich ein ausführlicher Blick auf den Vorfall.