Перспективы и ограничения ИИ: GPT-4 умеет анализировать код, но не подходит для аудита безопасности, показало исследование Salus
Summary:
Исследование, проведенное учеными из Salus Security, показывает, что система искусственного интеллекта GPT-4 показывает многообещающие результаты в создании и анализе кода, но не справляется с аудитом безопасности. Используя 35 смарт-контрактов из библиотеки уязвимостей SolidiFI-benchmark, было обнаружено, что он достиг 80% точности в идентификации истинных положительных результатов, хотя его коэффициент отзыва был на низком уровне 11%. Исследователи рекомендуют продолжать использовать традиционные методы и инструменты аудита наряду с системами искусственного интеллекта для повышения точности и эффективности аудита смарт-контрактов.
Исследователи из Salus Security, глобальной фирмы по безопасности блокчейна, недавно обнародовали результаты исследования, посвященного возможностям GPT-4, системы искусственного интеллекта (ИИ). Они обнаружили, что, несмотря на то, что он хорошо подходит для создания и анализа языка программирования, он пока не подходит для использования в качестве эксперта по безопасности.
Согласно опубликованной статье, GPT-4 имеет потенциальные преимущества для помощи в аудите смарт-контрактов, в первую очередь в анализе кода и предоставлении советов по уязвимостям. Тем не менее, из-за ограниченных возможностей по выявлению уязвимостей, в настоящее время он не может полностью вытеснить приложения для экспертного аудита и опытных аудиторов.
Чтобы оценить способность ИИ выявлять потенциальные недостатки безопасности, команда Salus использовала в общей сложности 35 смарт-контрактов из библиотеки уязвимостей SolidiFI, которая показала в общей сложности 732 уязвимости, и изучила семь распространенных типов уязвимостей.
Их исследование показало, что система ChatGPT умеет выявлять истинные позитивы - подлинные уязвимости, которые требуют дальнейшего изучения в реальном контексте. Он показал точность более 80% в тестах. Но он страдает от серьезной проблемы с генерацией ложноотрицательных результатов. Этот аспект количественно оценивается с помощью показателя, известного как «коэффициент запоминаемости». В экспериментах, проведенных командой, уровень запоминания GPT-4 составлял всего 11% (чем выше, тем лучше).
Такие результаты привели исследователей к выводу, что GPT-4 имеет ограниченные возможности обнаружения уязвимостей, достигая пиковой точности всего в 33%. Таким образом, использование специализированных инструментов аудита и традиционного человеческого опыта остается рекомендуемым для аудита смарт-контрактов до тех пор, пока системы искусственного интеллекта, такие как GPT-4, не будут улучшены.
В заключение, несмотря на то, что GPT-4 может обеспечить поддержку во время аудита смарт-контрактов, особенно при анализе кода и подсказках об уязвимостях, его использование по-прежнему должно быть подкреплено другими практиками и инструментами аудита для повышения тщательности и достоверности процесса аудита.
Published At
2/20/2024 7:41:30 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.