La promesa y los límites de la IA: GPT-4 es experto en el análisis de código, pero inadecuado para las auditorías de seguridad, revela un estudio de Salus
Summary:
Un estudio realizado por investigadores de Salus Security revela que el sistema de inteligencia artificial GPT-4 se muestra prometedor en la creación y análisis de código, pero se queda corto en la auditoría de seguridad. Utilizando 35 contratos inteligentes de la biblioteca de vulnerabilidades de referencia SolidiFI, se descubrió que lograba una precisión del 80% en la identificación de verdaderos positivos, aunque su tasa de recuperación era de un bajo 11%. Los investigadores recomiendan el uso continuo de métodos y herramientas de auditoría tradicionales junto con sistemas de IA para mejorar la precisión y la eficiencia en las auditorías de contratos inteligentes.
Los investigadores de Salus Security, una empresa global de seguridad blockchain, han revelado recientemente los resultados de un estudio centrado en las capacidades de GPT-4, un sistema de inteligencia artificial (IA). Descubrieron que, si bien es experto en la creación y el análisis de lenguaje de codificación, aún no es adecuado para su uso como examinador de seguridad.
Según el documento publicado, GPT-4 tiene beneficios potenciales para ayudar a las auditorías de contratos inteligentes, principalmente en el análisis de código y proporcionar consejos de vulnerabilidad. Sin embargo, debido a su capacidad restringida para identificar vulnerabilidades, no puede suplantar por completo a las aplicaciones de auditoría expertas y a los auditores experimentados en la actualidad.
Para medir la capacidad de la IA para identificar posibles fallos de seguridad, el equipo de Salus utilizó un total de 35 contratos inteligentes de la biblioteca de vulnerabilidades de referencia de SolidiFI, que mostraba un total de 732 vulnerabilidades, y examinó siete tipos de vulnerabilidades prevalentes.
Su investigación demostró que el sistema ChatGPT es competente para identificar verdaderos positivos, vulnerabilidades genuinas que justifican una mayor investigación en un contexto del mundo real. Exhibió más del 80% de precisión en las pruebas. Sin embargo, sufre de un problema importante en la generación de falsos negativos. Este aspecto se cuantifica mediante una métrica conocida como "tasa de recuerdo". En los experimentos realizados por el equipo, la tasa de recuperación de GPT-4 fue tan baja como el 11% (cuanto más alta, mejor).
Estos resultados llevaron a los investigadores a concluir que GPT-4 tiene capacidades limitadas de detección de vulnerabilidades, logrando una precisión máxima de solo el 33%. Por lo tanto, se sigue recomendando el uso de herramientas de auditoría especializadas y la experiencia humana convencional para las auditorías de contratos inteligentes hasta que los sistemas de IA como GPT-4 hayan mejorado.
En conclusión, si bien GPT-4 puede brindar apoyo durante las auditorías de contratos inteligentes, especialmente con el análisis de código y las señales de vulnerabilidad, su uso aún debe estar respaldado por otras prácticas y herramientas de auditoría para mejorar la minuciosidad y la validez del proceso de auditoría.
Published At
2/20/2024 7:41:30 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.