Promessa e limites da IA: GPT-4 hábil em análise de código, mas inadequado para auditorias de segurança, revela estudo da Salus
Summary:
Um estudo realizado por pesquisadores da Salus Security revela que o sistema de inteligência artificial GPT-4 é promissor na criação e análise de código, mas fica aquém na auditoria de segurança. Usando 35 contratos inteligentes da biblioteca de vulnerabilidades de benchmark SolidiFI, descobriu-se que ele alcançou 80% de precisão na identificação de verdadeiros positivos, embora sua taxa de recall tenha sido baixa em 11%. Os pesquisadores recomendam o uso contínuo de métodos e ferramentas de auditoria tradicionais, juntamente com sistemas de IA, para melhorar a precisão e a eficiência em auditorias de contratos inteligentes.
Pesquisadores da Salus Security, uma empresa global de segurança blockchain, divulgaram recentemente as descobertas de um estudo com foco nas capacidades do GPT-4, um sistema de inteligência artificial (IA). Eles descobriram que, embora seja hábil em criar e analisar linguagem de codificação, ainda não é adequado para uso como examinador de segurança.
De acordo com o artigo publicado, o GPT-4 tem benefícios potenciais para auxiliar auditorias de contratos inteligentes, principalmente na análise de código e no fornecimento de dicas de vulnerabilidade. No entanto, devido à sua capacidade restrita de identificar vulnerabilidades, ele não pode suplantar totalmente os aplicativos de auditoria especializada e auditores experientes atualmente.
Para avaliar a capacidade da IA de identificar possíveis falhas de segurança, a equipe da Salus utilizou um total de 35 contratos inteligentes da biblioteca de vulnerabilidades de benchmark SolidiFI, que exibiu um total de 732 vulnerabilidades, e examinou sete tipos prevalentes de vulnerabilidades.
Sua pesquisa demonstrou que o sistema ChatGPT é proficiente em identificar verdadeiros positivos - vulnerabilidades genuínas que merecem uma investigação mais aprofundada em um contexto do mundo real. Apresentou mais de 80% de precisão nos testes. Mas, sofre de um problema significativo na geração de falsos negativos. Esse aspecto é quantificado por uma métrica conhecida como "taxa de reconvocação". Nos experimentos conduzidos pela equipe, a taxa de recall para GPT-4 foi tão baixa quanto 11% (quanto maior, melhor).
Tais resultados levaram os pesquisadores a concluir que o GPT-4 tem capacidades limitadas de detecção de vulnerabilidade, alcançando uma precisão de pico de apenas 33%. Assim, o uso de ferramentas de auditoria especializadas e experiência humana convencional permanece recomendado para auditorias de contratos inteligentes até que sistemas de IA como o GPT-4 tenham melhorado.
Em conclusão, embora o GPT-4 possa fornecer suporte durante auditorias de contratos inteligentes, especialmente com análise de código e dicas de vulnerabilidade, seu uso ainda precisa ser apoiado por outras práticas e ferramentas de auditoria para melhorar o rigor e a validade do processo de auditoria.
Published At
2/20/2024 7:41:30 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.