IBM Security раскрывает «аудиоджекинг» на основе искусственного интеллекта: новую угрозу для живых разговоров
Summary:
Специалисты IBM по безопасности обнаружили технику «аудиоперехвата», которая использует генеративный искусственный интеллект для перехвата и изменения живых разговоров незамеченными. Простая в сборке система требует всего три секунды голоса человека, чтобы клонировать его, заменяя исходный звук на обработанный. Эта техника потенциально может быть использована в неэтичных целях, таких как перевод средств на неверные счета или скрытое изменение новостного контента в прямом эфире и политических выступлений.
Ученые IBM Security обнаружили неожиданно простой метод управления дискуссиями в режиме реального времени с помощью искусственного интеллекта (ИИ). Эта техника, называемая «аудиоджекингом», в значительной степени зависит от вариантов генеративного ИИ, таких как ChatGPT от OpenAI и Llama-2 от Meta, а также от технологии deepfake audio.
В своем исследовании команда поручила искусственному интеллекту анализировать звук из двух источников в разговоре в режиме реального времени, сродни телефонному звонку. Обнаружив указанное ключевое слово или фразу, ИИ вмешивается, чтобы подделать соответствующий звук, прежде чем передать его предполагаемому получателю.
Согласно сообщению в блоге IBM Security, тест завершился тем, что ИИ эффективно перехватил аудио участника, в то время как другой человек попросил его поделиться своими банковскими данными. В дальнейшем искусственный интеллект заменил оригинальный голос на дипфейк-аудио, передав альтернативный номер учетной записи. Реципиенты не обратили внимания на эту атаку.
Несмотря на то, что запуск таких атак потребовал бы какой-либо формы интриг или обмана, разработка системы искусственного интеллекта не представляла существенных препятствий. Создание этого доказательства концепции (PoC) было шокирующе простым — значительное количество времени было потрачено на то, чтобы понять, как извлекать звук из микрофона и передавать его генеративному ИИ. Как правило, разработка автономной системы, которая будет вмешиваться в определенные аудиосегменты и заменять их самостоятельно генерируемыми аудиофайлами, потребует значительных навыков в области информатики. Однако с современной технологией генеративного ИИ процесс становится более управляемым. В блоге также уточнили, что для его дублирования достаточно всего трех секунд голоса человека, и такие дипфейки сейчас преимущественно выполняются через API.
Риск аудио-перехвата выходит за рамки обмана физических лиц, заставляя их переводить средства на неверные счета. Исследователи предупреждают, что он также может служить инструментом тайной цензуры, способным изменять содержание новостей в прямом эфире или модифицировать политические речи, транслируемые в прямом эфире.
Published At
2/5/2024 8:20:06 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.