Depuis l'introduction de ChatGPT 2022, de plus en plus d'entreprises souhaitent utiliser les technologies d'IA - souvent avec des exigences spécifiques. La Retrieval Augmented Generation (RAG) est la technologie privilégiée pour développer des applications innovantes basées sur des données privées. Mais les risques de sécurité tels que le stockage vectoriel non protégé, la validation incorrecte des données et les attaques par déni de service constituent une menace sérieuse, en particulier compte tenu du cycle de développement rapide des systèmes RAG.
La technologie d'IA innovante RAG nécessite quelques ingrédients pour fonctionner : une base de données avec des modules de texte et un moyen de les récupérer sont nécessaires. En règle générale, une mémoire vectorielle est utilisée pour stocker le texte et une série de nombres permettant de trouver les blocs de texte les plus pertinents. Grâce à ceux-ci et à une invite correspondante, il est possible de répondre aux questions ou de rédiger de nouveaux textes basés sur des sources de données privées et adaptés aux besoins respectifs. En fait, RAG est si efficace que les LLM les plus puissants ne sont généralement pas nécessaires. Pour réduire les coûts et améliorer le temps de réponse, les serveurs propriétaires existants peuvent être utilisés pour héberger ces modèles LLM plus petits et plus légers.
Le magasin de vecteurs est comme un bibliothécaire très utile qui non seulement trouve les livres pertinents, mais met également en évidence les passages pertinents. Le LLM est alors le chercheur qui reprend ces passages et les utilise pour rédiger un livre blanc ou répondre à la question. Ensemble, ils forment une application RAG.
Stockage vectoriel, hébergement LLM, vulnérabilités
Les mémoires vectorielles ne sont pas entièrement nouvelles, mais elles connaissent une renaissance depuis deux ans. Il existe de nombreuses solutions hébergées comme Pinecone, mais aussi des solutions auto-hébergées comme ChromaDB ou Tisser. Ils aident un développeur à trouver des blocs de texte similaires au texte saisi, tels que : B. une question à laquelle il faut répondre.
Bien que l’hébergement de votre propre LLM nécessite une bonne quantité de mémoire et un bon GPU, ce n’est rien qu’un fournisseur de cloud ne peut fournir. Pour ceux qui ont un bon ordinateur portable ou PC, c'est LMStudio une option populaire. Pour une utilisation en entreprise lama.cpp et Ollama souvent le premier choix. Tous ces programmes ont connu un développement rapide. Il n’est donc pas surprenant qu’il reste encore quelques bugs à corriger dans les composants RAG.
Certains de ces bugs sont des erreurs typiques de validation des données, comme CVE-2024-37032 et CVE-2024-39720. D'autres conduisent à un déni de service, par exemple CVE-2024-39720 et CVE-2024-39721, ou ils divulguent l'existence de fichiers, comme CVE-2024-39719 et CVE-2024-39722. La liste peut être élargie.
Erreurs dangereuses dans les composants RAG
Llama.cpp est moins connu, mais il y a été trouvé cette année CVE-2024-42479. CVE-2024-34359 concerne la bibliothèque Python utilisée par lama.cpp. Peut-être que le manque d'informations sur llama.cpp est dû à son cycle de publication inhabituel. Depuis son lancement en mars 2023, il y a eu plus de 2.500 XNUMX versions, soit environ quatre par jour. Avec une cible en constante évolution comme celle-ci, il est difficile de suivre ses vulnérabilités.
En revanche, Ollama a un cycle de sortie plus lent de seulement 96 versions depuis juillet 2023, soit environ une fois par semaine. À titre de comparaison, Linux sort une nouvelle version tous les quelques mois et Windows connaît de nouveaux « moments » chaque trimestre.
Les mémoires vectorielles présentent également des vulnérabilités
ChromaDB existe depuis octobre 2022 et une nouvelle version apparaît presque toutes les deux semaines. Fait intéressant, il n’existe aucun CVE connu pour cette mémoire vectorielle. Weaviate, un autre stockage vectoriel, présente également des vulnérabilités (CVE-2023-38976 et CVE-2024-45846 lorsqu'il est utilisé avec MindsDB). Weaviate existe depuis 2019, ce qui en fait un véritable grand-père de cette pile technologique, mais toujours avec un cycle de publication hebdomadaire. Ces cycles de publication ne sont pas gravés dans le marbre, mais ils signifient que les bogues trouvés sont corrigés rapidement, limitant ainsi leur durée de propagation.
Il est peu probable que les LLM à eux seuls répondent à toutes les exigences et ne s'amélioreront que progressivement à mesure qu'ils manqueront de données publiques sur lesquelles se former. L'avenir appartient probablement à l'IA basée sur les agents qui combine les LLM, le stockage, les outils et les flux de travail dans des systèmes basés sur l'IA plus avancés. Andrew Ng, informaticien connu pour ses travaux sur l'intelligence artificielle et la robotique. Il s’agit essentiellement d’une nouvelle pile de développement logiciel, dans laquelle les LLM et les mémoires vectorielles continuent de jouer un rôle important. Mais attention : les entreprises peuvent subir des dommages dans cette direction si elles ne prêtent pas attention à la sécurité de leurs systèmes.
Composants RAG exposés
Nous craignons que de nombreux développeurs n'exposent ces systèmes à Internet dans leur précipitation. C'est pourquoi, en novembre 2024, nous avons recherché des instances visibles publiquement de certains de ces composants RAG. L'accent a été mis sur les quatre composants les plus importants utilisés dans les systèmes RAG : llama.cpp, Ollama, qui héberge les LLM, ainsi que ChromaDB et Weaviate, qui servent de stockage vectoriel.
Plus sur TrendMicro.com
À propos de Trend Micro En tant que l'un des principaux fournisseurs mondiaux de sécurité informatique, Trend Micro aide à créer un monde sécurisé pour l'échange de données numériques. Avec plus de 30 ans d'expertise en matière de sécurité, de recherche sur les menaces mondiales et d'innovation constante, Trend Micro offre une protection aux entreprises, aux agences gouvernementales et aux consommateurs. Grâce à notre stratégie de sécurité XGen™, nos solutions bénéficient d'une combinaison intergénérationnelle de techniques de défense optimisées pour les environnements de pointe. Les informations sur les menaces en réseau permettent une protection meilleure et plus rapide. Optimisées pour les charges de travail cloud, les terminaux, les e-mails, l'IIoT et les réseaux, nos solutions connectées offrent une visibilité centralisée sur l'ensemble de l'entreprise pour une détection et une réponse plus rapides aux menaces.