FuzzyAI, ein quelloffenes Framework, hat bislang für jedes getestete Modell einen KI-Jailbreak gefunden. Es hilft Unternehmen, Schwachstellen in ihren KI-Modellen zu identifizieren und zu beheben, etwa das Umgehen von Guardrails oder die Generierung von schädlichen Inhalten.
FuzzyAI lässt sich auf alle KI-Modelle anwenden, die in der Cloud und intern gehostet werden. Es hilft, diese neuen Herausforderungen zu bewältigen, indem es einen systematischen Ansatz für das Testen von KI-Modellen gegen verschiedene gefährliche Eingaben liefert. Auf diese Weise deckt es potenzielle Schwächen in den Sicherheitssystemen des Modells auf und macht die Entwicklung und die Bereitstellung von KI sicherer. Herzstück von FuzzyAI ist ein sogenannter Fuzzer – ein Tool, das Software-Defekte und Software-Schwachstellen aufspürt. Es versteht sich auf mehr als zehn verschiedene Angriffstechniken, vom Umgehen ethischer Filter bis hin zur Aufdeckung versteckter System-Prompts.
Die wichtigsten Funktionen von FuzzyAI
- Umfassendes Fuzzing: FuzzyAI testet KI-Modelle mit verschiedenen Angriffstechniken, um Schwachstellen zu entdecken, etwa das Umgehen von Guardrails, Informationslecks, Prompt Injections oder die Generierung schädlicher Inhalte.
- Erweiterungsmöglichkeiten: Unternehmen und Forscher können das Framework um eigene Angriffsmethoden erweitern, um die Tests auf domänenspezifische Schwachstellen zuzuschneiden.
- Zusammenarbeit in der Community: Eine wachsende Community sorgt für eine kontinuierliche Weiterentwicklung von Angriffstechniken und Abwehrmechanismen.
Verfügbarkeit von FuzzyAI
Das vollständige und erweiterbare Framework ist auf der GitHub-Seite der CyberArk Labs als Open Source verfügbar. Im Arsenal-Bereich der Black Hat Europe haben die CyberArk Labs ein Capture-The-Flag-Event (CTF) veranstaltet, um die praktische Anwendung von FuzzyAI zu demonstrieren, aber auch um die realen Auswirkungen von Jailbreak-Schwachstellen und die Notwendigkeit, diese proaktiv einzudämmen, zu verdeutlichen.
Mehr bei Cyberark.com
Über CyberArk CyberArk ist das weltweit führende Unternehmen im Bereich Identity Security. Mit dem Privileged Access Management als Kernkomponente bietet CyberArk eine umfassende Sicherheit für jede – menschliche oder nicht-menschliche – Identität über Business-Applikationen, verteilte Arbeitsumgebungen, Hybrid-Cloud-Workloads und DevOps-Lifecycles hinweg. Weltweit führende Unternehmen setzen auf CyberArk bei der Sicherung ihrer kritischsten Daten, Infrastrukturen und Anwendungen. Rund ein Drittel der DAX-30- und 20 der Euro-Stoxx-50-Unternehmen nutzen die Lösungen von CyberArk.