Avantages et risques : l'implication de l'IA générative pour la sécurité

Des innombrables articles d’actualité aux publications sur votre fil en passant par les nouveaux outils intégrés à vos logiciels préférés, l’intelligence artificielle est partout.  

Bien que la technologie ne date pas d’hier, l’IA générative a récemment fait le buzz avec la sortie de ChatGPT en novembre 2022, un grand modèle linguistique (LLM) qui utilise l’ingénierie de prompt pour générer divers résultats pour les utilisateurs. 

Juste après la sortie de ChatGPT, des outils d’IA générative similaires ont été lancés, tels que Bard de Google et Copilot de Microsoft. L’utilisation de l’IA pour générer du contenu, des vidéos, des photos, du code, etc., s’est répandue comme une traînée de poudre.  

Alors que l’IA gagne en popularité, les risques liés à l’utilisation de cette technologie suscitent des inquiétudes. Les cybercriminels ont déjà trouvé des moyens d’exfiltrer des données à partir de différents outils d’IA, notamment en utilisant des plateformes telles que WormGPT, un modèle d’IA entraîné sur les données servant à créer des malwares et utilisé à des fins malveillantes ou pour générer du code malveillant. 

Dans cet article, nous aborderons :  

• Les avantages de l'IA générative pour les entreprises d'aujourd'hui 
• Quels risques il faut prendre en compte lors de l’utilisation de l’IA 
• Comment appréhender l'utilisation de l'IA avec assurance  

Nous mettrons en évidence les principaux avantages de l’utilisation de l’IA générative et ferons part des risques à surveiller. Alors que l’utilisation des outils d’IA générative augmente et que le coût moyen d’une fuite de données s’élevait à 4,35 M$ en 2022, il est temps de vous assurer que votre entreprise est bien protégée.

Planifiez une démonstration personnalisée de 30 minutes avec l'un de nos experts en sécurité.

Voir Varonis en action.

Pourquoi la sécurité de l'IA générative est-elle importante maintenant  

L’intelligence artificielle remonte aux années 1960 avec la création du premier chatbot d’IA, ELIZA, développé par Joseph Weizenbaum. Alors pourquoi l’IA générative est-elle si populaire aujourd’hui, plus de 50 ans plus tard ?  

Le lancement de ChatGPT à la fin 2022 a accéléré le développement de l’IA générative et a donné au monde un accès à cet outil puissant.  

« ChatGPT a démocratisé l’AI et l’a rendue disponible à plus de gens. Grâce à son intégration à un moteur de recherche sur l’interface utilisateur, davantage de gens peuvent l’utiliser sans avoir à comprendre la technologie sous-jacente », explique Thomas Cook, architecte en sécurité dans l’équipe de réponse aux incidents de Varonis, qui a présenté un webinar sur ChatGPT début 2023.

Alors que de nombreuses entreprises de logiciels développent leurs propres programmes d’IA, les équipes de sécurité peuvent être prises au dépourvu lorsque ces outils seront lancés et ne sauront peut-être pas comment lutter contre les risques qu’ils présentent.  

Microsoft Copilot, actuellement en phase d’accès anticipé, présente l’avantage de connaître votre entreprise en plus de sa conception de LLM. Copilot peut ainsi rejoindre une réunion Teams et prendre des notes en temps réel, vous aider à trier vos e-mails dans Outlook et créer des réponses, ou même analyser des données brutes dans Excel pour vous.  

Rob Sobers et Mike Thompson de Varonis ont présenté une analyse approfondie de l’IA générative et du fonctionnement du modèle de sécurité de Copilot. Ils ont également mis en évidence ses points forts et ses points négatifs pour aider les équipes de sécurité à comprendre l’outil avant sa sortie.

Copilot est considéré comme le meilleur outil de productivité au monde, et si vous n’avez jamais utilisé d’outils d’IA générative, vous comprendrez aisément pourquoi. Imaginez un ChatGPT miniature intégré à toutes vos applications Office, comme Word, PowerPoint, Excel et Microsoft Teams.

Outre les capacités de Copilot, les équipes de sécurité peuvent tirer des avantages de nombreux aspects de l’IA générative, notamment l’amélioration des activités de cybersécurité, la détection des menaces et les mécanismes de défense.

Autres avantages de l'utilisation de l'IA générative :

• Défense de la Blue Team : contrairement aux acteurs malveillants qui peuvent utiliser les outils d’IA à des fins néfastes, les entreprises peuvent les utiliser pour le bien. Thomas a montré comment ChatGPT a simplifié les moyens pour les utilisateurs de vérifier les codes malveillants, détecter des vulnérabilités spécifiques et synthétiser les résultats quasi instantanément.
• Analyse des malwares : l’IA générative peut permettre de générer des variantes d’échantillons de malwares connus, aidant les professionnels de la cybersécurité à créer des systèmes de détection et d’analyse plus complets des malwares. 

• Leurre et honeypots : l’IA générative peut permettre de créer des systèmes de leurre ou des honeypots réalistes qui attirent les attaquants. Cela permet aux équipes de sécurité de surveiller et d’analyser les techniques d’attaque, de recueillir des renseignements sur les menaces et de détourner les attaquants des ressources réelles. 
• Génération automatisée de réponses : lorsqu’une attaque est détectée, l’IA générative peut aider à générer des réponses automatisées pour atténuer la menace. Cela peut inclure les règles des pare-feux, le déploiement de contre-mesures et l’isolement des systèmes compromis. Les analystes peuvent ainsi gagner du temps dans leur réponse aux menaces.  
• Mesures de sécurité adaptatives : l’IA générative peut aider à développer des mécanismes de sécurité qui s’adaptent à l’évolution des menaces. En apprenant en permanence des nouvelles techniques d’attaque, ces systèmes peuvent évoluer et améliorer leurs stratégies de défense au fil du temps.  
• Visualisation des attaques : l’IA générative peut aider à visualiser les modèles et comportements d’attaque complexes, ce qui permet aux analystes de sécurité de comprendre plus facilement comment les attaques sont exécutées et d’identifier des tendances qui ne sont pas forcément visibles de prime abord. 

Chaque médaille a son revers. Alors que l’IA générative offre bien des avantages en plus de ceux cités ci-dessus, elle présente aussi des défis et des risques. 

Combattre le côté malveillant de l'IA dans la cybersécurité 

L’IA générative comporte plusieurs risques qui doivent être soigneusement pris en compte lorsque vous implémentez et utilisez cette technologie.  

Selon une étude menée par Forrester, la sécurité est un frein majeur pour les entreprises qui adoptent l’IA, en témoignent les 64 % de personnes interrogées qui déclarent ne pas savoir comment évaluer la sécurité des outils d’IA générative. 

L’une des principales préoccupations à propos de Microsoft Copilot est le fonctionnement de son modèle de sécurité avec les autorisations et le fait que cette solution peut accéder à tous les fichiers et informations de l’utilisateur en question. Seulement, la plupart des utilisateurs d’une entreprise ont déjà des accès beaucoup trop vastes. 

« Le point commun de toutes les entreprises est l’augmentation considérable de l’accès des données par tous les membres de l’entreprise, explique Mike. C’est vraiment le risque le plus important qui, selon nous, n’est pas pris en compte par la plupart des entreprises. C’est ce qui se traduira le plus directement en risque avec Copilot, car c’est ce qu’il exploite. Les autorisations définies dans SharePoint et One Drive. Vous avez la responsabilité de mettre en place le modèle du moindre privilège en interne et nous vous avons fourni le modèle pour y arriver. Mais dans les faits, combien de gens le font réellement ? 

Vers la fin de l’analyse de Rob et Mike sur Microsoft Copilot, 76 % des participants déclaraient que bien qu’ils se souciaient des risques de l’utilisation de l’IA générative, ils souhaitaient tout de même poursuivre leur utilisation. Sans une formation appropriée ou des mesures de sécurité proactives mises en place, les entreprises courent le risque de voir leurs informations critiques partagées avec ces outils, ou pire, avec tout Internet.

Au fur et à mesure que l’adoption des outils d’IA se développera, les humains deviendront de plus en plus paresseux et feront peut-être trop confiance à l’IA pour effectuer les contrôles de sécurité qu’ils devraient réaliser eux-mêmes. Par exemple, un employé pourrait demander à Microsoft Copilot de créer une proposition commerciale à partir de documents existants et de notes de réunion, évitant ainsi des heures de travail. Il pourrait passer rapidement en revue le résultat et penser que tout est correct, mais il se pourrait que des informations sensibles contenues dans les documents d’origine se retrouvent aussi dans la proposition commerciale, si celle-ci n’était pas minutieusement étudiée.  

Outre les problèmes de sécurité internes, les pirates utiliseront l’IA pour écrire du code malveillant, trouver des vulnérabilités et lancer des campagnes à grande échelle.  

Les attaquants utiliseront également l’IA pour générer de faux ensembles de données et les utiliser pour essayer d’extorquer les entreprises (ou, du moins, leur faire perdre leur temps). 

Les attaquants vont gagner en compétence sur l’ingénierie de prompt au lieu d’apprendre PowerShell ou Python. S’ils savent qu’ils peuvent compromettre un utilisateur et qu’il aura accès à un outil d’IA, pourquoi ne pas s’améliorer en ingénierie de prompt ?

Autres problèmes de sécurité et risques associés à l'IA générative : 

• Les campagnes de cyberattaque à la demande : les attaquants peuvent exploiter l’IA générative pour automatiser la création de malwares, de campagnes de phishing ou d’autres cybermenaces, ce qui pourrait faciliter le lancement d’attaques d’envergure. Dans la présentation de Thomas sur ChatGPT, il a montré que ChatGPT pouvait personnaliser un e-mail pour s’adresser à Elon Musk à propos de son investissement dans X, anciennement Twitter. En incluant des informations sur la cible, ici Elon Musk, le prompt peut aider les acteurs malveillants à écrire des messages plus personnels et plus susceptibles d’inciter l’utilisateur à l’action. Les données comme l’âge, le sexe, le niveau d’études, ou des informations sur l’entreprise, peuvent aussi être intégrées aux invites dans les outils d’IA. 

• Pas de protection au sein des outils : les outils d’IA courent également le risque d’être manipulés pour produire des résultats incorrects ou malveillants. Certains outils d’IA ont mis en place des normes éthiques pour éviter l’utilisation inappropriée du produit, mais les acteurs malveillants ont trouvé des moyens de les contourner.  
• Fuite d’informations sensibles : les modèles d’IA générative apprennent souvent à partir de grands ensembles de données, qui peuvent contenir des données sensibles, en fonction des informations partagées. S’ils ne sont pas correctement gérés, le risque existe de révéler accidentellement des informations confidentielles dans les résultats générés. Les modèles d’IA peuvent également stocker ces informations, ce qui rend vos données sensibles accessibles à quiconque accède à votre compte utilisateur avec différents outils d’IA.  
• Vol de propriété intellectuelle : les modèles génératifs récupèrent souvent une quantité massive d’informations accessibles au public, y compris des données propriétaires exposées. Il existe un vrai risque que l’IA générative enfreigne les droits de propriété intellectuelle d’autrui et fasse l’objet de poursuites judiciaires. Par exemple, les outils d’IA basés sur des images ont utilisé le filigrane de Getty sur les images, car les photos générées par l’IA sont créées à partir de la multitude de données publiques présentes sur Getty. De plus, il existe également un risque que votre propriété intellectuelle finisse par être utilisée dans des outils d’IA si elle n’est pas sécurisée.  
• Risque pour l’identité et deepfakes : l’IA générative peut être utilisée pour créer de fausses images, vidéos ou clips audio convaincants, menant à l’usurpation d’identité, au vol d’identité et à la création de deepfakes susceptibles de diffuser de fausses informations. Les outils peuvent également donner aux campagnes de phishing une apparence plus réaliste et attirer leur cible. Une image du pape vêtu d’une veste Balenciaga est devenue virale avant que l’on ne révèle que l’image avait été créée à l’aide d’outils d’intelligence artificielle, ce qui prouve que la probabilité que les images d’IA et les vidéos deepfakes soient jugées crédibles n’a jamais été aussi élevée.  

ChatGPT, en particulier, est conçu pour créer une interaction humaine crédible, ce qui en fait l’outil idéal pour les campagnes de phishing. Les pirates utilisent également le LLM pour intégrer des malwares dans de fausses applications, un mode opératoire populaire pendant l’essor de ChatGPT et avant que sa société mère, OpenAI n’ait créé une application iOS.  

« Même si vous recherchez ChatGPT sur le Chrome Web Store et que vous incluez le mot "officiel", vous obtenez toujours plus d’un millier de résultats, et aucune de ces applications ne provient de ses créateurs, explique Thomas. Elles ne sont pas toutes malveillantes, mais on peut se demander pourquoi les gens paient pour vous permettre d’utiliser l’API sur leur back-end. Qu’ont-ils à y gagner ? Quelles informations vous ont-ils dérobées ? » 

Comment appréhender l'utilisation de l'IA avec assurance

Si vous attendez qu’une fuite de données se produise pour commencer à mettre en place des mesures de sécurité autour de l’IA, vous aurez un train de retard. 

L’une des premières mesures que les dirigeants peuvent prendre pour répondre aux préoccupations concernant les employés utilisant l’IA générative est de les former correctement sur ce que l’on peut partager et ce que l’on ne devrait pas partager.  

Certaines personnes peuvent penser qu’il est banal d’inclure les données des clients dans les invites de ChatGPT, par exemple, mais c’est exactement le type d’action que les acteurs malveillants attendent de vos employés. Il suffit qu’un employé accède à un faux site ChatGPT et saisisse des informations sensibles pour mettre votre entreprise en danger.  

Au fur et à mesure que de nouveaux outils d’IA générative sont commercialisés, les entreprises doivent informer leurs équipes sur la manière de les utiliser correctement et de rester à jour des préoccupations en matière de sécurité dès leur découverte.  

La mise en place d’une plateforme de sécurité des données peut également empêcher les employés d’avoir accès à des données sensibles auxquelles ils ne devraient tout simplement pas avoir accès. Les plateformes de ce type peuvent aider les équipes de sécurité à découvrir, classer et étiqueter automatiquement les données sensibles, à appliquer le principe du moindre privilège et à corriger en permanence l’exposition des données et les erreurs de configuration. 

Si vous avez une bonne visibilité sur ce que font les gens, où se trouvent les données, le niveau de sensibilité de ces données et où elles se concentrent, il est beaucoup plus facile de réduire le rayon d’exposition et de s’assurer que seules les bonnes personnes y ont accès.

L’équipe mondiale de réponse aux incidents de Varonis enquête également sur les activités anormales en votre nom. Si un employé accède à une multitude d’informations auxquelles il ne devrait pas accéder, vous recevez une alerte instantanément. Nos capacités d’automatisation contribuent à réduire le temps de détection, nous permettant ainsi de réagir et d’enquêter rapidement. 

Commencez par une évaluation gratuite et personnalisée des risques liés aux données basée sur vos besoins, les réglementations et les configurations de votre entreprise. Nos évaluations vous donneront des mesures concrètes pour prioriser et résoudre les principaux problèmes de sécurité et de conformité de vos données.   

En conclusion  

C’est indéniable, l’IA a conquis la planète tout entière et la technologie continuera d’évoluer dans les années à venir.  

Pour commencer, il faut comprendre les avantages et les risques liés à l’IA, former le personnel à utiliser correctement différents outils d’IA et définir des paramètres concernant ce qui est acceptable et ce qui ne l’est pas.  

« Pour moi, le plus important, c’est l’impact de l’IA sur la protection de la vie privée et la conformité. Cela ne disparaîtra pas de si tôt, poursuit Thomas. L’IA va être de plus en plus présente, il faut donc s’assurer que vous avez les politiques et procédures en place sur l’utilisation de l’IA et que vous fournissez des consignes pour les employés sur les impacts potentiels des outils d’IA. »