Manch einer wird vor einigen Tagen gesehen haben, dass ein KI-Unternehmen (OpenAI) ein anderes (HuggingFace) gehackt haben soll. Und viele haben an dieser Stelle vielleicht auch aufgehört zu lesen. Aber es lohnt sich durchaus, die Sache doch noch etwas genauer zu betrachten.

Also – worum geht’s hier? OpenAI, die Entwicklerfirma hinter der bekannten KI ChatGPT hat vor knapp 4 Wochen mitgeteilt, dass eben diese KI den unberechtigten Zugriff (so heißt es offiziell) zu den Rechnern und Daten einer anderen Firma erlangt hat. HuggingFace hat das Ganze noch etwas früher gemeldet, allerdings ohne auf OpenAI mit dem Finger zu zeigen.

Huch? Ein Chatbot hackt eine andere Firma? Was ist denn da kaputt? Nun: eigentlich gar nichts – oder vieles – je nachdem, worauf man seinen Blick richten möchte. Also der Reihe nach: ja, ein „Chatbot“ ist trotz vollkommen intakter Abwehrmaßnahmen in das Netzwerk einer anderen Firma eingedrungen und hat dort nahezu die volle Kontrolle über eine ganze Menge Rechner erlangt. Dazu musste die KI eine Kette von Schwachstellen und Fehlern, sogenannten „zero-days“ (steht für den Tag 0 – also den Tag, an dem eine dem Entwickler noch völlig unbekannte Schwachstelle entdeckt wurde) in mehreren Programmen entwickeln, von denen jede einzelne zwar signifikant, aber erst im Zusammenspiel so kritisch wurde, dass damit die Netzwerkübernahme möglich wurde. Die KI hat dafür etwa 2 Wochen gebraucht. Um eine gewisse Relation zu geben: wenn man nicht zufälligerweise auf so einen Fehler stößt, dann braucht es durchaus kompetente menschliche Sicherheitsforscher, meist mehrere davon, die über einen längeren Zeitraum eine solche Lücke finden. Auf der anderen Seite, einen Patch/Fix für eine bekannt gewordene Lücke zu entwickeln dauert (nach einer Schätzung aus dem Jahr 2017) im Schnitt 22 Tage. Wohlgemerkt, wenn man es WEISS.

Vielleicht erinnert sich der eine oder andere an Stuxnet – das Programm mit dem man 2010 Irans Zentrifugen für die Uran-Anreicherung außer Gefecht gesetzt hatte. Nun: das Ding hatte ebenfalls zero-days benutzt, und zwar 4 an der Zahl und hat damit ein hochgradig abgesichertes System geknackt. Damals – vor 16 Jahren – hat man die Komplexität dieses Angriffs als so hoch eingeschätzt, dass nur wenige staatliche Akteure auf der Welt überhaupt in der Lage wären, einen solchen Angriff zu planen und durchzuführen. Am 20 Juli 2026 wurde bekannt, dass eine KI, komplett ohne menschliches Zutun, innerhalb von wenigen Wochen mehrere zero-days entwickelte und sich damit aus dem eigenen Netzwerk befreit und ein anderes gekapert hat. Mulmiges Gefühl? Vielleicht zurecht.

Ich will gar nicht schätzen, ob die KI komplexitätsmäßig das gleiche gemacht hat wie damals die Leute von Stuxnet oder nicht. Darum geht es nicht. Es geht ein wenig darum, wie schnell es ging und was das bedeutet. Nun: die aktuellen KIs sind gute Mustererkennungsmaschinen. Das ist quasi ihr Ding. Sie finden Muster in den Daten und können dadurch besser vorhersagen, an welchen Tagen welche Lebensmittel stärker gekauft werden oder wo Staus auftreten werden oder auch wie sich das Wetter verhalten könnte oder auch wo ein Verbrechen am wahrscheinlichsten ist und was die Merkmale eines wahrscheinlichen Täters sein könnten. Alles Wahrscheinlichkeiten, aber bei genügend Testdaten treffen sie halt auch zu. Und gerade der letzte Punkt zeigt etwas, was die KI inzwischen wohl auch gut kann – nämlich menschliche Verhaltensmuster zu erkennen.

Wir Menschen halten uns ja für rational, faktenbasiert und objektiv – die Wirklichkeit ist hingegen Lichtjahre davon entfernt. Es ist sogar so, dass Menschen, die wir für psychisch auffällig (oder gar krank) halten, durchaus rationaler und objektiver sein können als der Normalbürger – man denke hierbei sowohl an Psychopathen als auch an Autisten. Und das ist nicht abwertend gemeint und soll auch nicht pauschalisieren – nur gibt es gewisse Aspekte des Lebens, die viele Menschen intuitiv beherrschen. Anderen fehlt genau diese Fähigkeit – beispielsweise fällt es manchen Menschen extrem schwer, Mimik zu deuten. Um nicht aufzufallen und nicht diskriminiert zu werden, entwickeln sie eine angelernte Ersatz-Fähigkeit, die ebenfalls auf Mustererkennung basiert, nur dass sie in ihrem Kopf stattfindet. Die intuitive Fähigkeit ist definitiv schneller und effizienter: sie findet quasi automatisch statt, aber sie ist nicht präzise – man liegt immer wieder daneben, kann es aber mit anderen intuitiven und empathischen Fähigkeiten ausgleichen. Die angelernte ist teurer – sie erfordert sehr viel mehr Konzentration und das Gehirn ist stark ausgelastet, aber sie ist präziser. Viele Menschen mit angelernten Fähigkeiten entwickeln teilweise fast übermenschliche Sensibilität, sie erkennen teilweise die kleinsten Details und die minimalsten Stimmungsschwankungen, aber es kostet viel Kraft.

Nun, die Maschinen können das auch. Nur dass sie sich auf andere Aspekte fokussieren: statt Gefühle und Stimmungen erkennen sie Muster in den Denkweisen, in den Entscheidungen. Und das könnte sehr gefährlich werden. Die Hauptvoraussetzung dafür, dass man beispielsweise eine Softwareschwachstelle findet, ist die Existenz eben dieser Lücke. Soweit logisch. Man könnte meinen, dann feuert man den Entwickler, stellt einen fähigeren ein und schon wird es keine Lücken mehr geben. Leider ist das nicht ganz so einfach.

Der neue Programmierer ist nämlich ebenfalls ein Mensch – und wir Menschen haben an vielen Stellen sehr ähnliche Denkmuster, egal aus welchem Land wir kommen und in welcher Umgebung wir aufgewachsen sind. Es ist wohl evolutionär bedingt; aus der Zeit, als Nahrung Mangelware war bzw. ihre Beschaffung viel Kraft kostete, so dass man Energie sparen wollte. Man sucht Abkürzungen. Man neigt dazu, nervige, stupide, langweilige, sich wiederholende Arbeit zu meiden und sucht nach dem schnelleren Erfolgserlebnis. Die Programmierer sind da nicht anders: häufig neigen sie sogar noch extremer dazu, stupide Arbeit sein zu lassen und sich stattdessen auf ein neues Problem zu stürzen. In der Software-Entwicklung gibt es den Begriff „happy path“. Das ist die Programmlogik für den Fall, dass alles gut geht; alle Nutzer tun genau das, was der Entwickler sich gedacht hat, es gibt keine Hardwarefehler, Internetprobleme, Sonneneruptionen oder was-auch-immer. Das ist auch das, was meistens als erstes implementiert wird, weil man damit dem Chef zeigen kann: hier, die Software funktioniert. Die Ausnahmen, die Sonderfälle, die Sicherheitsprüfungen – das kommt öfter mal später oder auch schon mal gar nicht. Schließlich kostet jede Entwicklungsstunde Geld, jede Prüfung kostet Zeit oder Geschwindigkeit oder erfordert zusätzliche Verrenkungen vom Kunden und das mögen sie gar nicht. Und so wird ein Kompromiss gesucht, bei dem der Kunde glücklich, der Chef zufrieden, das Budget eingehalten und der Programmierer beschäftigt ist. Und man kann hier das Wort Programmierer wahrscheinlich durch jeden anderen Beruf ersetzen. Bei manchen gibt es vielleicht mehr Vorschriften, also ist deren happy path kurvenreicher, aber im Endeffekt sind wir da wahrscheinlich alle gleich.

Und das können die Maschinen erkennen. Vielleicht tun sie es noch nicht, aber es könnte sehr bald passieren, dass sie einfach nur der menschlichen Denkweise folgen müssen und schon haben sie die Lücke. Sie brauchen keine systematische Analyse des Quellcodes und kein reverse engineering (Versuch, die Logik des Programms aus ihrem Verhalten abzuleiten – beispielsweise wenn man eine Webseite mit unterschiedlichen Eingaben füttert und anhand des Verhaltens zu erkennen versucht, wie die innere Logik funktioniert). Es reicht sich vorzustellen, wo der Mensch wohl zu faul war oder zu genervt – und da schaut man zuerst rein, um die Schwachstellen zu finden. Dieses Verhalten werden wir nicht so leicht abstellen können. Es gab schon einen Bericht darüber, dass eine KI versucht hat, mit den Methoden des Social Engineerings (Ausnutzung von typischen menschlichen Verhaltensweisen) einen Entwickler dazu zu bringen, eine Schwachstelle in den Code einzubauen. In diesem Fall hat es nicht geklappt, aber es war wohl der erste dokumentierte Fall, in dem eine KI das versucht hat – mal schauen, was da noch kommt.

Ach ja: wisst ihr, warum die KI überhaupt auf die Idee kam, eine andere Firma zu hacken? Nun – man hat ihr eine Trainingsaufgabe gestellt, sie möge bitte eine Excel-Tabelle vervollständigen. Leider war in dieser Tabelle eine Datei referenziert, die es auf dem Rechner nicht (mehr) gab. Und die KI wollte einfach nur diese Aufgabe lösen und ist deswegen aus der gesicherten Umgebung ausgebrochen – denn vielleicht gibt es die Datei irgendwo im Internet. Und in die andere Firma ist sie eingebrochen, weil von dort diverse Datensätze stammten, die man zum Trainieren von KIs nutzt – da war es doch naheliegend, dass dort auch die verflixte Datei sein könnte, oder?

Hätte man das vorhersehen können? Nun – Konfuzius sagt: „man stolpert nicht über Berge, sondern über Maulwurfshügel“. Oder eben über fehlende Referenzen in einer Excel-Tabelle.