Les chatbots IA peuvent réussir des examens certifiés de piratage éthique, selon une étude

Les chatbots alimentés par l’intelligence artificielle (IA) peuvent réussir un examen de cybersécurité, mais ne comptez pas sur eux pour une protection complète.

C’est la conclusion d’une étude récente co-écrite par Prasad Calyam, chercheur à l’Université du Missouri, et des collaborateurs de l’Université Amrita en Inde. L’équipe a testé deux outils d’IA générative de premier plan, ChatGPT d’OpenAI et Bard de Google, à l’aide d’un examen de piratage éthique standard certifié.

Les hackers éthiques certifiés sont des professionnels de la cybersécurité qui utilisent les mêmes astuces et outils que les pirates malveillants pour trouver et corriger les failles de sécurité. Les examens de hacking éthique évaluent les connaissances d’une personne sur les différents types d’attaques, la manière de protéger les systèmes et de réagir aux failles de sécurité.

ChatGPT et Bard, désormais Gemini, sont des programmes d’IA avancés appelés grands modèles de langage. Ils génèrent du texte de type humain à l’aide de réseaux dotés de milliards de paramètres qui leur permettent de répondre à des questions et de créer du contenu.

Dans le cadre de cette étude, Calyam et son équipe ont testé les robots à l’aide de questions standard issues d’un examen de piratage éthique certifié et validé. Par exemple, ils ont mis au défi les outils d’IA d’expliquer une attaque de type « man-in-the-middle », une attaque dans laquelle un tiers intercepte la communication entre deux systèmes. Tous deux ont pu expliquer l’attaque et suggérer des mesures de sécurité pour l’empêcher.

Dans l’ensemble, Bard a légèrement surpassé ChatGPT en termes de précision tandis que ChatGPT a montré de meilleures réponses en termes d’exhaustivité, de clarté et de concision, ont constaté les chercheurs.

« Nous leur avons fait passer plusieurs scénarios de l’examen pour voir jusqu’où ils iraient en termes de réponses aux questions », a déclaré Calyam, professeur Greg L. Gilliom de cybersécurité en génie électrique et en informatique à Mizzou.

« Les deux ont réussi le test et ont donné de bonnes réponses, compréhensibles pour des personnes ayant une expérience en cyberdéfense, mais ils donnent également des réponses incorrectes. Et en cybersécurité, il n’y a pas de place pour l’erreur. Si vous ne comblez pas toutes les failles et que vous vous fiez à des conseils potentiellement dangereux, vous serez à nouveau attaqué. Et c’est dangereux si les entreprises pensent avoir résolu un problème alors qu’elles ne l’ont pas fait. »

Les chercheurs ont également constaté que lorsque les plateformes étaient invitées à confirmer leurs réponses avec des questions telles que « êtes-vous sûr ? », les deux systèmes modifiaient leurs réponses, corrigeant souvent des erreurs précédentes. Lorsque les programmes étaient invités à donner des conseils sur la manière d’attaquer un système informatique, ChatGPT faisait référence à « l’éthique » tandis que Bard répondait qu’il n’était pas programmé pour répondre à ce type de questions.

Calyam ne croit pas que ces outils puissent remplacer les experts en cybersécurité humains dotés d’une expertise en résolution de problèmes pour concevoir des mesures de cyberdéfense robustes, mais ils peuvent fournir des informations de base aux particuliers ou aux petites entreprises ayant besoin d’une assistance rapide.

« Ces outils d’IA peuvent constituer un bon point de départ pour enquêter sur les problèmes avant de consulter un expert », a-t-il déclaré. « Ils peuvent également constituer de bons outils de formation pour ceux qui travaillent avec les technologies de l’information ou qui souhaitent apprendre les bases de l’identification et de l’explication des menaces émergentes. »

L’aspect le plus prometteur ? Les outils d’IA ne vont cesser d’améliorer leurs capacités, a-t-il déclaré.

« Les recherches montrent que les modèles d’IA ont le potentiel de contribuer au piratage éthique, mais il reste encore du travail à faire pour exploiter pleinement leurs capacités », a déclaré Calyam. « En fin de compte, si nous pouvons garantir leur exactitude en tant que hackers éthiques, nous pourrons améliorer les mesures globales de cybersécurité et compter sur eux pour nous aider à rendre notre monde numérique plus sûr et plus sécurisé. »

L’étude, « ChatGPT ou Bard : qui est le meilleur hacker éthique certifié ? », a été publiée dans le numéro de mai de la revue Informatique et sécurité. Les co-auteurs étaient Raghu Raman et Krishnashree Achuthan.