Meta представила «Purple Llama»: комплексный набор инструментов безопасности ИИ для разработчиков
Summary:
Meta представляет «Purple Llama» — набор инструментов с мерами безопасности для моделей генеративного ИИ. Этот набор инструментов предназначен для помощи разработчикам в создании безопасных и безопасных приложений с использованием моделей генеративного ИИ. Термин «Пурпурная лама» происходит от комбинированных стратегий «красной команды» (упреждающие атаки для выявления неисправностей) и «синей команды» (реактивные стратегии для смягчения угроз). Инструментарий включает в себя метрики для количественной оценки угроз, оценки частоты предложений небезопасного кода и непрерывных оценок для борьбы с кибератаками. Основная цель состоит в том, чтобы уменьшить количество небезопасных кодов и нежелательных выходных данных в конвейере модели, уменьшая возможности эксплуатации для киберпреступников.
7 декабря был представлен набор инструментов, предназначенных для обеспечения безопасности и бенчмаркинга моделей генеративного искусственного интеллекта, любезно предоставленных Meta. Инструментарий, получивший название «Purple Llama», создан для того, чтобы помочь разработчикам безопасно и безопасно конструировать с помощью инструментов генеративного ИИ, включая Llama-2, модель с открытым исходным кодом от Meta. Цель Purple Llama — создать равные условия для создания безопасного и ответственного генеративного опыта ИИ. Он включает в себя лицензируемые инструменты, оценки и модели для коммерческого использования и исследований.
Термин «Фиолетовый» в «Purple Llama» связан с комбинацией «синей команды» и «красной команды», согласно обратной версии Meta. Red teaming использует стратегию, при которой разработчики или внутренние тестировщики целенаправленно запускают атаки на модель ИИ, чтобы выявить потенциальные ошибки, сбои или нежелательные выходные данные и взаимодействия. Такая практика позволяет разработчикам разрабатывать стратегию защиты от потенциальных вредоносных атак и защиты от сбоев в системе безопасности. Синее объединение служит сравнительной противоположностью, в котором разработчики или тестировщики противодействуют атакам красного объединения, чтобы определить необходимые стратегии для смягчения реальных угроз клиентским или потребительским моделям в рабочей среде.
Meta указывает, что объединение оборонительных (синяя команда) и атакующих (красная команда) позиций является ключом к реальному решению задач, которые ставит перед нами генеративный ИИ. Таким образом, фиолетовая команда объединяет обязанности обеих команд и представляет собой совместные усилия по оценке и минимизации потенциальных рисков.
Meta утверждает, что в этом выпуске был представлен первый набор оценок безопасности кибербезопасности для больших языковых моделей (LLM). Он включает в себя метрики для количественной оценки рисков кибербезопасности LLM, инструменты для оценки частоты предложений небезопасного кода и инструменты для оценки LLM для повышения сложности создания вредоносного кода или помощи в кибератаках. Основная цель состоит в том, чтобы включить систему в конвейеры моделей, чтобы уменьшить количество небезопасных кодов и нежелательных выходных данных, одновременно ограничивая преимущества эксплуатации моделей для киберпреступников. Первоначальный релиз, как заявляет команда Meta AI, направлен на предоставление инструментов для борьбы с рисками, отмеченными в обязательствах Белого дома.
Published At
12/7/2023 9:30:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.