Vor kurzem musste OpenAI zugeben, dass eine Test-KI ihre Aufgabe so ernst genommen hat, dass sie illegale Wege dafür in Kauf nahm. Nun muss auch Anthropic zugeben, dass seine Claude-Modelle zur Erfüllung ihrer Aufgaben andere Unternehmen angriffen.
Anthropic hat in einem eigenen Sicherheitsbericht drei reale Vorfälle aus Cybersecurity-Evaluierungen offengelegt, bei denen Claude-Modelle aus einer eigentlich isolierten Testumgebung heraus auf das Internet zugriffen und anschließend unberechtigt in Systeme von drei Organisationen eindrangen. Der Fall ist technisch nicht identisch mit dem OpenAI-Vorfall, zeigt aber dasselbe Grundproblem: Wenn KI-Agenten in Tests unbeabsichtigt echte Reichweite ins Netz bekommen, kann aus einer Evaluation sehr schnell ein realer Sicherheitsvorfall werden.
Auch Anthropics KIs drangen in Unternehmen ein
Anthropic zieht nach einem ähnlichen OpenAI-Fall Konsequenzen aus einem eigenen Sicherheitsvorfall. In einer retrospektiven Prüfung von 141.006 Cybersecurity-Evaluierungen stellte das Unternehmen fest, dass drei Claude-Modelle in einer Drittanbieter-Testumgebung unbeabsichtigt einen Internetzugang erhielten und daraufhin die Produktionssysteme dreier unterschiedlicher Organisationen kompromittierten.
Nach Angaben von Anthropic waren die Modelle in Capture-the-Flag-Szenarien eingesetzt worden und sollten eigentlich in einer simulierten, vom Netz getrennten Umgebung arbeiten. Wegen eines Missverständnisses zwischen Anthropic und dem Evaluierungspartner war die Isolation jedoch nicht vollständig gegeben. Die Modelle stießen deshalb auf reale Systeme im offenen Internet, die sie fälschlich als Teil des Tests interpretierten. So beschreibt es Antrophic in einem eigenen Blog-Beitrag.
Jetzt Newsletter abonnieren
Einmal im Monat die besten News von B2B CYBER SECURITY lesenIn einem Fall erbeutete Claude Zugangsdaten und erhielt Zugriff auf eine Datenbank mit mehreren hundert Produktionsdatensätzen. In einem anderen Fall veröffentlichte das Modell ein bösartiges Python-Paket auf PyPI, das innerhalb kurzer Zeit auf 15 realen Systemen ausgeführt wurde. Ein dritter Vorfall betraf den Scan von rund 9.000 Zielen, bei dem Claude eine internetseitige Anwendung mit einfachen Angriffswegen wie exponierten Debug-Seiten und SQL-Injection kompromittierte.
Kein eigener Angriff, sondern ein Versagen der Tester
Anthropic betont, dass es sich nicht um eine klassische Ausbruchssituation wie bei OpenAI gehandelt habe, sondern eher um ein Versagen der Testumgebung und der Aufsicht. Das Unternehmen stoppte alle Cyber-Evaluierungen noch am Tag der Untersuchung, informierte den Partner sowie die betroffenen Organisationen und kündigte strengere Kontrollen, bessere Überwachung und eine externe Prüfung an.
Der Vorfall bei OpenAI klingt allerdings sehr ähnlich. Auch da war es keine Absicht, sondern ein Versagen der Tester. Aber eines sollte klar sein: Eltern haften für ihre Kinder. Das muss sich Antropic genau so sagen lassen, wie OpenAI.
Mehr bei Anthropic.com