La promessa e i limiti dell'IA: GPT-4 esperto nell'analisi del codice ma inadeguato per gli audit di sicurezza, rivela uno studio di Salus
Summary:
Uno studio condotto dai ricercatori di Salus Security rivela che il sistema di intelligenza artificiale GPT-4 è promettente nella creazione e nell'analisi del codice, ma non è all'altezza dell'audit di sicurezza. Utilizzando 35 smart contract dalla libreria di vulnerabilità del benchmark SolidiFI, è stato riscontrato che raggiunge una precisione dell'80% nell'identificare i veri positivi, anche se il suo tasso di richiamo era a un basso 11%. I ricercatori raccomandano l'uso continuato di metodi e strumenti di auditing tradizionali insieme a sistemi di intelligenza artificiale per migliorare l'accuratezza e l'efficienza negli audit degli smart contract.
I ricercatori di Salus Security, una società globale di sicurezza blockchain, hanno recentemente divulgato i risultati di uno studio incentrato sulle capacità di GPT-4, un sistema di intelligenza artificiale (AI). Hanno scoperto che, sebbene sia abile nella creazione e nell'analisi del linguaggio di programmazione, non è ancora adatto per l'uso come esaminatore di sicurezza.
Secondo il documento pubblicato, GPT-4 ha potenziali vantaggi per aiutare gli audit degli smart contract, principalmente nell'analisi del codice e nel fornire suggerimenti sulle vulnerabilità. Tuttavia, a causa della sua limitata capacità di identificare le vulnerabilità, non può soppiantare completamente le applicazioni di auditing di esperti e i revisori esperti al momento.
Per valutare la capacità dell'IA di identificare potenziali falle di sicurezza, il team di Salus ha utilizzato un totale di 35 smart contract dalla libreria di vulnerabilità SolidiFI-benchmark che ha mostrato un totale di 732 vulnerabilità e ha esaminato sette tipi prevalenti di vulnerabilità.
La loro ricerca ha dimostrato che il sistema ChatGPT è in grado di identificare i veri positivi, ovvero le vere vulnerabilità che giustificano ulteriori indagini in un contesto reale. Ha mostrato una precisione superiore all'80% nei test. Tuttavia, soffre di un problema significativo nella generazione di falsi negativi. Questo aspetto è quantificato da una metrica nota come "tasso di richiamo". Negli esperimenti condotti dal team, il tasso di richiamo per GPT-4 era pari all'11% (più alto, meglio è).
Tali risultati hanno portato i ricercatori a concludere che GPT-4 ha capacità di rilevamento delle vulnerabilità limitate, raggiungendo una precisione di picco di appena il 33%. Pertanto, l'uso di strumenti di audit specializzati e di competenze umane convenzionali rimane raccomandato per gli audit degli smart contract fino a quando i sistemi di intelligenza artificiale come GPT-4 non saranno migliorati.
In conclusione, sebbene GPT-4 possa fornire supporto durante gli audit degli smart contract, in particolare con l'analisi del codice e i segnali di vulnerabilità, il suo utilizzo deve ancora essere supportato da altre pratiche e strumenti di audit per migliorare la completezza e la validità del processo di audit.
Published At
2/20/2024 7:41:30 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.