L'IA et la cybersécurité sont inextricablement liées depuis de nombreuses années. Les bons utilisent l'IA pour analyser les paquets de données entrants et bloquer les activités malveillantes. Les méchants utilisent l'IA pour trouver et créer des failles dans la sécurité de leurs cibles. Oui, l'IA a contribué à la course aux armements, qui ne cesse de s'intensifier.
L'IA a été utilisée pour renforcer les systèmes de défense. Comment ? En analysant de grandes quantités de trafic entrant et en identifiant des modèles connus et émergents. Et alors que les pirates informatiques déploient des attaques de plus en plus sophistiquées, les outils d'IA sont désormais utilisés pour bloquer certaines de ces attaques et aider les défenseurs humains en ne faisant remonter que les comportements d'attaque les plus critiques ou les plus complexes.
Mais les attaquants ont également accès aux systèmes d'IA. Ils les utilisent dans la recherche d'exploits par exemple.
Rien de tout cela n'est nouveau, et c'est un défi permanent depuis des années. Ce qui est nouveau, c'est qu'il existe une nouvelle catégorie de cibles : les systèmes d'IA à valeur commerciale (que nous appelons généralement "chatbots"). Dans cet article, j'expliquerai comment, à l'aide de pare-feu, nous avons protégé la valeur commerciale dans le passé et comment un nouveau type de pare-feu est en train d'être développé et testé pour protéger les défis propres à l'exploitation et à la dépendance à l'égard des chatbots d'IA dans l'arène commerciale.
Comprendre les pare-feu
Les types d'attaques et de défenses pratiqués par la cybersécurité traditionnelle basée sur l'IA se produisent dans les couches réseau et transport de la pile réseau.
David Gewirtz/ZDNET
La couche réseau (couche 3) achemine les paquets à travers les réseaux, tandis que la couche transport (couche 4) gère la transmission des données, en assurant la fiabilité et le contrôle des flux entre les systèmes finaux.
Se produisant respectivement dans les couches 3 et 4 du modèle OSI, les attaques traditionnelles sont assez proches du matériel et du câblage du réseau et assez éloignées de la couche 7, la couche application. C'est dans la couche d'application que la plupart des applications dont nous dépendons quotidiennement font leur travail. Voici une autre façon de voir les choses : La plomberie de l'infrastructure du réseau se trouve dans les couches inférieures, mais la valeur commerciale se trouve dans la couche 7.
Les couches réseau et transport sont comme des caves et des souterrains reliés entre eux, servant de conduits pour les livraisons et l'élimination des déchets d'une ville, entre autres choses. La couche application est comme ces jolies vitrines des magasins, où les clients font leurs achats.
Dans le monde numérique, les pare-feu de réseau sont depuis longtemps en première ligne pour défendre les couches 3 et 4 contre les attaques. Ils peuvent analyser les données à leur arrivée, déterminer si une charge utile est cachée dans un paquet et bloquer les activités provenant d'endroits jugés particulièrement inquiétants.
Mais il existe un autre type de pare-feu depuis un certain temps : le pare-feu d'application web (WAF). Son rôle est de bloquer les activités qui se produisent au niveau de l'application web.
Un WAF surveille, filtre et bloque le trafic HTTP malveillant. Il empêche les attaques par injection SQL et par script intersite (XSS), les failles d'injection, l'authentification défaillante et l'exposition de données sensibles. Il fournit des règles personnalisées pour des protections spécifiques aux applications et atténue les attaques DDoS, entre autres protections. En d'autres termes, il empêche les personnes mal intentionnées de faire du mal à de bonnes pages web.
Nous commençons maintenant à voir des pare-feu d'IA qui protègent les données de niveau 7 (la valeur commerciale) au niveau du chatbot d'IA. Avant d'examiner comment les pare-feu peuvent protéger ces données, il est utile de comprendre comment les chatbots d'IA peuvent être attaqués.
Quand des personnes mal intentionnées s'attaquent à de bons chatbots d'IA
Au cours de l'année écoulée, nous avons assisté à la montée en puissance de l'IA générative pratique et opérationnelle. Cette nouvelle variante de l'IA ne se limite pas à ChatGPT. Les entreprises la déploient partout, mais surtout dans les services d'assistance aux utilisateurs en contact direct avec la clientèle, dans l'aide à la vente et même dans les diagnostics médicaux.
Il existe quatre approches pour attaquer les chatbots d'IA. Ces solutions d'IA étant très récentes, ces approches sont encore essentiellement théoriques, mais il faut s'attendre à ce que des pirates s'engagent dans ces voies au cours de l'année à venir.
Attaques contradictoires
La revue ScienceNews explique comment les exploits peuvent s'attaquer aux modes de fonctionnement des modèles d'IA. Les chercheurs construisent des phrases ou des prompts qui semblent valables pour un modèle d'IA, mais qui sont conçues pour manipuler ses réponses ou provoquer une sorte d'erreur.
L'objectif est d'amener le modèle d'IA à révéler des informations sensibles, à enfreindre des protocoles de sécurité ou à répondre d'une manière qui pourrait être utilisée pour mettre son opérateur dans l'embarras.
J'ai évoqué une variante très simpliste de ce type d'attaque lorsqu'un utilisateur introduit des prompts trompeur dans l'interface non protégée du chatbot de Chevrolet. Et ça c'est mal passé pour Chevrolet.
Injection indirecte de prompt
De plus en plus de chatbots lisent des pages web dans le cadre de leurs conversations avec les utilisateurs. Ces pages web peuvent contenir n'importe quoi. Normalement, lorsqu'un système d'IA récupère le contenu d'un site web, il est suffisamment intelligent pour faire la distinction entre un texte lisible par l'homme contenant des connaissances à traiter, et le code et les directives de formatage de la page web qui l'accompagnent.
Mais les attaquants peuvent tenter d'intégrer dans ces pages web des instructions et des mises en forme qui trompent ce qui les lit, ce qui pourrait manipuler un modèle d'IA et l'amener à divulguer des informations personnelles ou sensibles.
Il s'agit là d'un danger potentiel considérable, car les modèles d'intelligence artificielle reposent en grande partie sur des données provenant de l'internet, un espace vaste et sauvage. Des chercheurs du MIT ont étudié ce problème et ont conclu que "les chatbots d'IA sont un désastre pour la sécurité".
Empoisonnement des données
C'est ici - j'en suis presque convaincu - que les développeurs de grands modèles de langage (LLM) se tirent une balle dans le pied. L'empoisonnement des données consiste à insérer de mauvaises données d'entraînement dans les modèles de langage au cours du développement, ce qui équivaut à suivre un cours de géographie sur la nature sphérique de la planète dispensé par la Flat Earth Society. L'idée est d'introduire des données fallacieuses, erronées ou délibérément trompeuses pendant la formation du LLM afin qu'il produise plus tard des informations incorrectes.
Mon exemple préféré est celui de la licence accordée par Google pour le contenu de Stack Overflow dans le cadre de son LLM Gemini. Stack Overflow est l'un des plus grands forums d'aide aux développeurs en ligne, avec plus de 100 millions de développeurs participants. Mais comme le sait tout développeur qui a utilisé le site pendant plus de cinq minutes, pour chaque réponse lucide et utile, il y a cinq à dix réponses ridicules et probablement 20 autres réponses qui contestent la validité de toutes les réponses.
Former Gemini à l'aide de ces données signifie que non seulement Gemini disposera d'un trésor de réponses uniques et précieuses à toutes sortes de problèmes de programmation, mais qu'il disposera également d'une énorme collection de réponses qui aboutissent à des résultats épouvantables.
Imaginons maintenant que des pirates informatiques sachent que les données de Stack Overflow seront régulièrement utilisées pour former Gemini (et ils le savent parce que ZDNET et d'autres médias technologiques en ont parlé) : Ils peuvent construire des questions et des réponses délibérément conçues pour tromper Gemini et ses utilisateurs.
Distributed denial of service (DDOS - Déni de service distribué)
Si vous ne pensiez pas qu'un DDoS pouvait être utilisé contre un chatbot d'IA, détrompez-vous. Chaque requête d'IA nécessite une énorme quantité de données et de ressources informatiques. Si un pirate informatique inonde un chatbot de requêtes, il risque de ralentir ou de bloquer ses réponses.
En outre, de nombreux chatbots verticaux utilisent sous licence les API d'IA de fournisseurs tels que ChatGPT. Un taux élevé de fausses requêtes pourrait augmenter le coût pour ces détenteurs de licence s'ils paient par nombre d'accès. Si un pirate informatique augmente artificiellement le nombre d'appels d'API utilisés, le détenteur de la licence d'API peut dépasser le quota qui lui a été accordé ou être confronté à une augmentation substantielle des frais de la part du fournisseur d'IA.
Se défendre contre les attaques de l'IA
Les chatbots devenant des composants essentiels de l'infrastructure informatique qui a une valeur business, il est indispensable qu'ils continuent à fonctionner. L'intégrité de la valeur commerciale fournie doit également être protégée. Cette situation a donné naissance à une nouvelle forme de pare-feu, spécialement conçu pour protéger l'infrastructure de l'IA.
Nous commençons tout juste à voir des pare-feu génératifs pour l'IA, comme le Firewall for AI service annoncé par Cloudflare. Le pare-feu de Cloudflare se situe entre l'interface du chatbot dans l'application et le LLM lui-même, interceptant les appels API de l'application avant qu'ils n'atteignent le LLM (le cerveau de la mise en œuvre de l'IA). Le pare-feu intercepte également les réponses aux appels API, validant ces réponses contre toute activité malveillante.
Parmi les protections fournies par cette nouvelle forme de pare-feu figure la détection des données sensibles (SDD - sensitive data detection). La détection des données sensibles n'est pas une nouveauté pour les pare-feux d'applications web, mais le risque qu'un chatbot fasse apparaître des données sensibles involontaires est considérable, de sorte que l'application de règles de protection des données entre le modèle d'IA et l'application d'entreprise ajoute une couche de sécurité importante.
En outre, cela empêche les personnes qui utilisent le chatbot - par exemple, les employés d'une entreprise - de partager des informations sensibles avec un modèle d'IA fourni par une entreprise externe telle qu'OpenAI. Ce mode de sécurité permet d'éviter que des informations ne soient intégrées dans la base de connaissances globale du modèle public.
Le pare-feu IA de Cloudflare, une fois déployé, est également destiné à gérer les abus de modèle, une forme d'injection de prompt et d'attaque contradictoire visant à corrompre les résultats du modèle. Cloudflare mentionne spécifiquement ce cas d'utilisation :
Un cas d'utilisation courant que nous entendons de la part des clients de notre AI Gateway est qu'ils veulent éviter que leur application génère un langage toxique, offensant ou problématique. Les risques liés au fait de ne pas contrôler le résultat du modèle comprennent l'atteinte à la réputation et le préjudice causé à l'utilisateur final par la fourniture d'une réponse non fiable.
Il existe d'autres moyens par lesquels un pare-feu d'application web peut atténuer les attaques, en particulier lorsqu'il s'agit d'une attaque volumétrique telle que le bombardement de requêtes, qui est en fait un DDoS à usage particulier. Le pare-feu utilise des fonctions de limitation de débit qui ralentissent la vitesse et le volume des requêtes et filtrent celles qui semblent être conçues spécifiquement pour casser l'API.
Pas tout à fait prêt pour le Prime Time
Selon Cloudflare, les protections contre les attaques volumétriques de type DDoS et la détection des données sensibles peuvent être déployées dès maintenant par les clients. Cependant, les fonctions de validation de prompt - en gros, les fonctions fortement centrées sur l'IA du pare-feu IA - sont encore en cours de développement et entreront en phase bêta dans les mois à venir.
Normalement, je ne voudrais pas parler d'un produit à un stade de développement aussi précoce, mais je pense qu'il est important de montrer comment l'IA est entrée dans l'utilisation courante de l'infrastructure des applications d'entreprise. Restez à l'écoute. Nous suivrons les déploiements de l'IA et la manière dont ils modifient les contours du monde des applications d'entreprise. Nous nous pencherons également sur les questions de sécurité et sur la manière dont les entreprises peuvent assurer la sécurité de ces déploiements.
L'informatique a toujours été une course aux armements. L'IA apporte une nouvelle classe d'armes à déployer et avec laquelle se défendre.
Source : "ZDNet.com"
Si vous cherchez à vous protéger contre la surveillance et la censure, ce système d'exploitation basé sur Tor vaut la...
Suivez toute l'actualité de ZDNet sur Google Actualités.