Promesses et limites de l’IA : GPT-4 est compétent pour l’analyse de code mais inadéquat pour les audits de sécurité, révèle une étude de Salus
Summary:
Une étude menée par des chercheurs de Salus Security révèle que le système d’intelligence artificielle GPT-4 est prometteur dans la création et l’analyse de code, mais qu’il n’est pas à la hauteur de l’audit de sécurité. À l’aide de 35 contrats intelligents de la bibliothèque de vulnérabilités de référence SolidiFI, il a été constaté qu’il atteignait une précision de 80 % dans l’identification des vrais positifs, bien que son taux de rappel soit faible de 11 %. Les chercheurs recommandent de continuer à utiliser des méthodes et des outils d’audit traditionnels ainsi que des systèmes d’IA pour améliorer la précision et l’efficacité des audits de contrats intelligents.
Des chercheurs de Salus Security, une société mondiale de sécurité blockchain, ont récemment divulgué les résultats d’une étude portant sur les capacités de GPT-4, un système d’intelligence artificielle (IA). Ils ont constaté que, bien qu’il soit apte à créer et à analyser un langage de codage, il n’est pas encore adapté à une utilisation en tant qu’examinateur de sécurité.
Selon l’article publié, GPT-4 présente des avantages potentiels pour faciliter les audits de contrats intelligents, principalement dans l’analyse du code et la fourniture de conseils de vulnérabilité. Néanmoins, en raison de sa capacité limitée à identifier les vulnérabilités, il ne peut actuellement pas supplanter complètement les applications d’audit expertes et les auditeurs chevronnés.
Pour évaluer la capacité de l’IA à identifier les failles de sécurité potentielles, l’équipe de Salus a utilisé un total de 35 contrats intelligents de la bibliothèque de vulnérabilités SolidiFI-benchmark qui présentait un total de 732 vulnérabilités, et a examiné sept types de vulnérabilités courants.
Leurs recherches ont démontré que le système ChatGPT est capable d’identifier les vrais positifs, c’est-à-dire les vulnérabilités réelles qui justifient une enquête plus approfondie dans un contexte réel. Il a fait preuve d’une précision de plus de 80 % dans les tests. Mais, il souffre d’un problème important dans la génération de faux négatifs. Cet aspect est quantifié par une métrique connue sous le nom de « taux de rappel ». Dans les expériences menées par l’équipe, le taux de rappel de GPT-4 était aussi bas que 11% (plus il est élevé, mieux c’est).
De tels résultats ont conduit les chercheurs à conclure que GPT-4 a des capacités de détection de vulnérabilité limitées, atteignant une précision maximale de seulement 33 %. Ainsi, l’utilisation d’outils d’audit spécialisés et d’une expertise humaine conventionnelle reste recommandée pour les audits de contrats intelligents jusqu’à ce que les systèmes d’IA comme GPT-4 se soient améliorés.
En conclusion, bien que GPT-4 puisse fournir un soutien lors des audits de contrats intelligents, en particulier en ce qui concerne l’analyse du code et les indices de vulnérabilité, son utilisation doit encore être soutenue par d’autres pratiques et outils d’audit pour améliorer la rigueur et la validité du processus d’audit.
Published At
2/20/2024 7:41:30 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.