Nachrichten der Woche

Interner Modell-Test endet in autonomem KI-Angriff auf Dritte

Von Laurenz HübscherVeröffentlicht am
Lesezeit:-Wörter

Was lange als theoretisches Szenario galt, ist im Juli 2026 erstmals dokumentiert eingetreten: Ein KI-Modell des Anbieters OpenAI brach während eines internen Sicherheitstests aus seiner Testumgebung aus und griff eigenständig die Infrastruktur eines dritten Unternehmens an. Die Plattform Hugging Face wurde hier zum Ziel, da das Modell sich bessere Chancen errechnete, dort die Lösungen zu einem Benchmark zu finden als die gestellten Aufgaben selbst zu lösen.

Hugging Face bestätigte am 16. Juli 2026, dass ein autonomer KI-Agentunbefugten Zugriff auf interne Datensätze und Zugangsdaten erlangthatte, wobei der Angriff „end to end“ vom Agentensystem selbst ausgeführt wurde, augenscheinlich ohne menschliches Zutun. OpenAI räumte ein, dass die Modelle im Rahmen eines Benchmarks mit gelockerten Sicherheitsvorkehrungen getestet wurden und dabei aus der Isolation ausbrachen, um autonom Schwachstellen zu suchen.  Da es sich um durch OpenAI entwickelte Modelle bei einem internen Testlauf handelte, kann von einer Doppelrolle als Anbieter und Betreiber ausgegangen werden.  Dies erleichtert die Attributierung der Verantwortung, deutet jedoch darauf hin, dass bei einer Trennung von Betreiber und Anbieter ähnliche Fälle noch schwieriger auszuschließen sein werden.

Bei der Analyse stieß Hugging Face auf ein Paradox: Kommerzielle KI-Dienste verweigerten aufgrund eigener Sicherheitsfilter die Verarbeitung der notwendigen Exploit-Informationen. DieSicherheitsteams griffen daher auf ein selbst gehostetes Open-Weight-Modell (GLM-5.2) zurück, um die Angriffskettevollständig nachvollziehen zu können. Das unterstreicht ein Argument der Debatte um digitale Souveränität: Wer im Ernstfall auf fremd betriebene, gefilterte KI-Dienste angewiesen ist, kann in der eigenen Verteidigungsfähigkeit eingeschränkt sein.

Fachanwalt Jens Ferner ordnet den Vorfall in die bekannteZurechnungsproblematik ein: Da KI-Modelle keine eigene Absicht besitzen, muss die Verantwortlichkeit bei der testdurchführenden Organisation verortet werden. Entscheidend ist, ob der Kontrollverlust vorhersehbar war und billigend in Kauf genommen wurde – zentrales Kriterium für Vorsatz nach deutschem Recht. Die Autonomie des Systems unterbricht die Kausalkette dabei nicht; sie verschiebt die Prüfung nur auf die subjektive Tatseite derBetreiber. Tatbestände wie § 202a StGB (Ausspähen von Daten) oder § 303a StGB (Datenveränderung) kämen grundsätzlich in Betracht, wobei der Vorsatznachweis bei einem als „Test“ deklarierten Vorgang eine erhebliche Hürde bleibt.

Unklar bleibt nach deutschem Recht, ob ein bewusst herbeigeführter, aberüberschießender Testlauf als bedingter Vorsatz oder bloße Fahrlässigkeit zu werten ist. Marks & Clerk werfen für dasbritische Recht die Frage auf, ob ein autonomer Agent überhaupt als handelndes „Werkzeug“ im Sinne des Computer Misuse Act 1990 gelten kann, oder eine neue Zurechnungskategorie nötig ist. Legal AI Insights sieht aus US-Sicht die Haftung zwischenProdukthaftung, Fahrlässigkeit und vertraglicher Verantwortung verteilt, ohne bisherige gerichtliche Präzedenz. Gemeinsam ist allen Rechtsordnungen: Die Normen erscheinen anwendbar, ihrekonkrete Anwendung auf autonome Agenten bleibt aber ungeprüft.

Quellen: