Deux rapports de recherche montrent l'utilisation actuelle de l'IA pour des attaques et, d'autre part, l'attitude des cybercriminels à l'égard de l'intelligence artificielle est analysée en examinant les forums du dark web. La surprise : tous les criminels ne sont pas convaincus des avantages de l’IA.
Sophos a publié aujourd'hui deux rapports sur l'utilisation de l'IA dans la cybercriminalité. Le rapport « Le côté obscur de l'IA : les campagnes d'arnaques à grande échelle rendues possibles par l'IA générative » utilise une étude de cas spécifique pour examiner comment les fraudeurs pourraient utiliser des technologies telles que ChatGPT à l'avenir pour mener des attaques frauduleuses à grande échelle avec des compétences techniques minimales. Le deuxième rapport « Les cybercriminels ne parviennent pas à s’entendre sur les GPT » présente l'enquête sur divers forums du dark web. Les résultats montrent que certains cybercriminels sont sceptiques quant à l’utilisation actuelle des chatbots et autres technologies d’IA, malgré le potentiel de la nouvelle technologie.
« Nous avons trouvé de nombreux articles sur le Dark Web concernant les impacts négatifs potentiels de l’IA sur la société et les implications éthiques de son utilisation. En d’autres termes, du moins pour l’instant, il semble que les cybercriminels aient les mêmes débats sur l’intelligence artificielle que nous tous », a déclaré Christopher Budd, directeur de la recherche X-Ops chez Sophos.
IA : le côté obscur de l’intelligence artificielle
En utilisant un modèle de commerce électronique simple et d'excellents outils de modèle de langage comme GPT-4, Sophos X-Ops a pu créer un site Web entièrement fonctionnel avec des images, des audios et des descriptions de produits générés par l'IA, ainsi qu'une fausse page de connexion Facebook et une fausse caisse. page, pour collecter des informations de connexion personnelles et de carte de crédit. Des connaissances techniques minimales étaient nécessaires pour créer et exploiter le site Web. Le même outil a également permis de créer des centaines de sites Web similaires en quelques minutes, d’un simple clic sur un bouton.
« Il est naturel et attendu que les criminels utilisent les nouvelles technologies pour automatiser leurs opérations afin d'être aussi efficaces que possible », a déclaré Ben Gelman, data scientist senior chez Sophos. « La création initiale de courriers indésirables a constitué une étape cruciale dans l’histoire de la fraude, car elle a considérablement modifié l’ampleur du terrain de jeu criminel. Le développement actuel de l’intelligence artificielle présente un potentiel similaire : dès qu’il existera une technologie d’IA capable de générer des menaces complètes et automatisées, elle sera utilisée. L’intégration actuellement observée d’éléments d’IA générative dans la fraude classique, par exemple via des textes ou des photos générés par l’IA pour attirer les victimes, n’est qu’un début.
Concernant les intentions du projet de recherche actuel, Gelman déclare : « L’une des raisons pour lesquelles nous menons le projet actuel est de garder une longueur d’avance sur les criminels. En créant un système de création de sites Web frauduleux à grande échelle, plus avancé que les outils utilisés actuellement par les criminels, nous disposons d’une capacité unique à analyser et à nous préparer à la menace avant qu’elle ne se propage.
Les cybercriminels remettent en question le potentiel des GPT & Co
Dans le deuxième volet de son offensive de recherche sur l'IA, Sophos Alors que l’utilisation de l’IA par les cybercriminels semble en être à ses balbutiements, les acteurs de la menace sur ces plateformes discutent déjà intensivement du potentiel de l’ingénierie sociale. Un exemple en est la vague actuelle d’escroqueries liées aux réservations de cochons.
En outre, Sophos a constaté que la plupart des publications concernaient des comptes ChatGPT compromis à vendre et des « jailbreaks » – des moyens de contourner les protections intégrées aux LLM, permettant aux cybercriminels d'abuser des outils à des fins malveillantes. L'équipe de recherche a également découvert dix applications ChatGPT qui, selon les développeurs, pourraient être utilisées pour des cyberattaques et le développement de logiciels malveillants. Cependant, l’efficacité de tels outils était fortement mise en doute par une partie de la communauté du dark web et était parfois même considérée comme une tentative de tricherie avec des programmes inutiles.
Débats sur l'intelligence artificielle
« Même si nous avons vu certains cybercriminels tenter de créer des logiciels malveillants ou des outils d'attaque à l'aide de LLM, les résultats étaient rudimentaires et ont souvent suscité le scepticisme des autres utilisateurs. Nous avons même trouvé de nombreux articles sur l’impact négatif potentiel de l’IA sur la société et les implications éthiques de son utilisation. En d’autres termes, du moins pour l’instant, il semble que les cybercriminels aient les mêmes débats sur l’intelligence artificielle que nous tous », a déclaré Christopher Budd, directeur de la recherche X-Ops chez Sophos.
Pour plus d'informations sur les sites Web frauduleux générés par l'IA et sur les attitudes des acteurs de la menace à l'égard des LLM, consultez les rapports complets en anglais. « Le côté obscur de l'IA : les campagnes d'arnaques à grande échelle rendues possibles par l'IA générative » ainsi que « Les cybercriminels ne parviennent pas à s’entendre sur les GPT » à trouver.
Plus sur Sophos.com
À propos de Sophos Plus de 100 millions d'utilisateurs dans 150 pays font confiance à Sophos. Nous offrons la meilleure protection contre les menaces informatiques complexes et la perte de données. Nos solutions de sécurité complètes sont faciles à déployer, à utiliser et à gérer. Ils offrent le coût total de possession le plus bas du secteur. Sophos propose des solutions de chiffrement primées, des solutions de sécurité pour les terminaux, les réseaux, les appareils mobiles, la messagerie et le Web. Vous bénéficiez également de l'assistance des SophosLabs, notre réseau mondial de centres d'analyse propriétaires. Le siège social de Sophos se trouve à Boston, aux États-Unis, et à Oxford, au Royaume-Uni.