Das Versprechen und die Grenzen der KI: GPT-4 ist kompetent in der Code-Analyse, aber ungeeignet für Sicherheitsaudits, zeigt eine Salus-Studie
Summary:
Eine Studie von Forschern von Salus Security zeigt, dass das künstliche Intelligenzsystem GPT-4 bei der Erstellung und Analyse von Code vielversprechend ist, aber bei der Sicherheitsprüfung zu kurz kommt. Unter Verwendung von 35 Smart Contracts aus der SolidiFI-Benchmark-Schwachstellenbibliothek wurde festgestellt, dass es eine Genauigkeit von 80 % bei der Identifizierung von True Positives erreichte, obwohl die Rückrufrate bei niedrigen 11 % lag. Die Forscher empfehlen die fortgesetzte Verwendung traditioneller Prüfungsmethoden und -tools zusammen mit KI-Systemen, um die Genauigkeit und Effizienz bei Smart-Contract-Audits zu verbessern.
Forscher von Salus Security, einem globalen Blockchain-Sicherheitsunternehmen, haben kürzlich die Ergebnisse einer Studie veröffentlicht, die sich auf die Fähigkeiten von GPT-4, einem System mit künstlicher Intelligenz (KI), konzentriert. Sie fanden heraus, dass es zwar in der Lage ist, eine Programmiersprache zu erstellen und zu analysieren, aber noch nicht für den Einsatz als Sicherheitsprüfer geeignet ist.
Laut dem veröffentlichten Papier hat GPT-4 potenzielle Vorteile für die Unterstützung von Smart-Contract-Audits, vor allem bei der Codeanalyse und der Bereitstellung von Schwachstellentipps. Aufgrund seiner eingeschränkten Fähigkeit zur Identifizierung von Schwachstellen kann es jedoch derzeit nicht vollständig Experten-Auditing-Anwendungen und erfahrene Auditoren ersetzen.
Um die Fähigkeit der KI zu messen, potenzielle Sicherheitslücken zu erkennen, nutzte das Team von Salus insgesamt 35 Smart Contracts aus der SolidiFI-Benchmark-Schwachstellenbibliothek, die insgesamt 732 Schwachstellen aufwiesen, und untersuchte sieben weit verbreitete Arten von Schwachstellen.
Ihre Forschung zeigte, dass das ChatGPT-System in der Lage ist, echte Positive zu identifizieren - echte Schwachstellen, die eine weitere Untersuchung in einem realen Kontext rechtfertigen. In Tests zeigte es eine Präzision von über 80 %. Es leidet jedoch unter einem erheblichen Problem bei der Generierung falsch negativer Ergebnisse. Dieser Aspekt wird durch eine Metrik quantifiziert, die als "Recall Rate" bekannt ist. In den vom Team durchgeführten Experimenten lag die Erinnerungsrate für GPT-4 bei nur 11 % (je höher, desto besser).
Diese Ergebnisse führten die Forscher zu dem Schluss, dass GPT-4 nur begrenzte Fähigkeiten zur Erkennung von Schwachstellen hat und eine Spitzengenauigkeit von nur 33 % erreicht. Daher bleibt der Einsatz spezialisierter Audit-Tools und konventioneller menschlicher Expertise für Smart-Contract-Audits so lange empfehlenswert, bis sich KI-Systeme wie GPT-4 verbessert haben.
Zusammenfassend lässt sich sagen, dass GPT-4 zwar Unterstützung bei Smart-Contract-Audits bieten kann, insbesondere bei Code-Analysen und Schwachstellenhinweisen, seine Verwendung jedoch noch durch andere Audit-Praktiken und -Tools unterstützt werden muss, um die Gründlichkeit und Validität des Audit-Prozesses zu verbessern.
Published At
2/20/2024 7:41:30 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.