Die Google Threat Intelligence Group (GTIG) hat einen neuen Bericht „Adversarial Misuse of Generative AI“ veröffentlicht, in dem die Sicherheitsexperten darüber aufklären, wie Bedrohungsakteure derzeit generative KI wie Gemini für ihre Angriffe nutzen.
Die Bedrohungsakteure experimentieren mit Gemini, um ihre Operationen zu unterstützen und werden dadurch produktiver, entwickeln aber noch keine neuen Fähigkeiten. Derzeit nutzen sie KI hauptsächlich für die Recherche, die Fehlersuche im Code und die Erstellung und Lokalisierung von Inhalten. APT-Akteure (Advanced Persistent Threat) nutzten Gemini zur Unterstützung mehrerer Phasen des Angriffslebenszyklus. Dazu gehören die Erforschung potenzieller Infrastrukturen und kostenloser Hosting-Anbieter, die Recherche über Zielorganisationen, die Erforschung von Schwachstellen, die Entwicklung von Nutzdaten und die Unterstützung bei bösartigen Skripten und Umgehungstechniken. Iranische APT-Akteure waren die stärksten Nutzer von Gemini und setzten es für eine Vielzahl von Zwecken ein. Bemerkenswert ist, dass russische APT-Akteure die KI während des Analysezeitraums nur in begrenztem Umfang nutzten.
IO-Akteure (Information Operations) nutzten Gemini für Recherchen und die Erstellung von Inhalten. Dazu gehören die Entwicklung von Personas und Botschaften, die Übersetzung und Lokalisierung von Inhalten sowie die Suche nach Möglichkeiten zur Erhöhung ihrer Reichweite. Auch hier waren iranische IO-Akteure die stärksten Nutzer von Gemini, auf die drei Viertel der gesamten Nutzung durch IO-Akteure entfielen. Die Experten haben beobachtet, dass chinesische und russische IO-Akteure Gemini hauptsächlich für allgemeine Recherchen und die Erstellung von Inhalten nutzen.
Sicherheitsmaßnahmen in Gemini
Die Sicherheitsmaßnahmen verhinderten die Erstellung von Inhalten, die die Fähigkeiten der Bedrohungsakteure maßgeblich verbessern würden. Gemini leistete Unterstützung bei allgemeinen Aufgaben wie der Erstellung von Inhalten, Zusammenfassungen, der Erläuterung komplexer Konzepte und sogar bei einfachen Codierungsaufgaben. Die Anfrage nach aufwändigeren oder explizit bösartigen Aufgaben löste eine Sicherheitsreaktionen von Gemini aus. Bedrohungsakteure versuchten erfolglos, Gemini für den Missbrauch von Google-Produkten zu nutzen, einschließlich der Erforschung von Techniken für Gmail-Phishing, Datendiebstahl, Programmierung eines Chrome-Infostealers und Umgehung der Google-Kontoverifizierungsmethoden.
Die Experten haben keine anhaltenden Versuche von Bedrohungsakteuren beobachtet, Prompt-Angriffe oder andere auf maschinelles Lernen (ML) ausgerichtete Bedrohungen einzusetzen. Anstatt maßgeschneiderte Prompts zu entwickeln, nutzten die Bedrohungsakteure einfachere Maßnahmen oder öffentlich verfügbare Jailbreak-Prompts, mit denen sie aber an den Sicherheitskontrollen von Gemini scheitern.
Mehr bei Mandiant.com
Über Mandiant Mandiant ist ein anerkannter Marktführer für dynamische Cyberabwehr, Threat Intelligence und Incident Response. Mit jahrzehntelanger Erfahrung an vorderster Cyberfront hilft Mandiant Unternehmen dabei, sich selbstbewusst und proaktiv gegen Cyber-Bedrohungen zu verteidigen und auf Angriffe zu reagieren. Mandiant ist jetzt Teil von Google Cloud.