Meta 推出“Purple Llama”：面向开发人员的综合 AI 安全工具包
Summary:
Meta 推出了“Purple Llama”，这是一个包含生成式 AI 模型安全措施的工具包。这套工具致力于帮助开发人员使用生成式 AI 模型构建安全可靠的应用程序。术语“紫色骆驼”源自“红队”（识别故障的主动攻击）和“蓝队”（缓解威胁的被动策略）的组合策略。该工具包包括威胁量化指标、不安全代码建议的频率评估以及对抗网络攻击的持续评估。主要目的是减少模型管道中的不安全代码和不需要的输出，从而减少网络犯罪分子的利用机会。
12 月 7 日，Meta 发布了一套专为生成式人工智能模型的安全性和基准测试而设计的工具。该工具包被称为“Purple Llama”，旨在帮助开发人员使用生成式 AI 工具安全可靠地构建，包括 Meta 的开源模型 Llama-2。Purple Llama 的目标是为构建安全和负责任的生成式 AI 体验提供公平的竞争环境。它包括用于商业用途和研究的可许可工具、评估和模型。
根据 Meta 的反转，“Purple Llama”中的“紫色”一词与“蓝色团队”和“红色团队”的组合有关。红队采用一种策略，开发人员或内部测试人员有目的地对 AI 模型发起攻击，以识别潜在的错误、故障或不需要的输出和交互。这种做法使开发人员能够针对潜在的有害攻击制定策略，并防御安全或安全故障。蓝组则相反，其中开发人员或测试人员可以抵消红组攻击，以确定必要的策略，以减轻生产中针对客户端或消费者模型的现实威胁。
Meta 表示，融合防守（蓝队）和进攻（红队）位置是真正应对生成式 AI 带来的挑战的关键。因此，紫色团队结合了两个团队的职责，并共同努力评估和最小化潜在风险。
Meta 声称，大型语言模型 （LLM） 的第一套网络安全安全评估已通过此版本公布。它包括量化 LLM 网络安全风险的指标、评估不安全代码建议频率的工具，以及评估 LLM 的工具，以增加生成有害代码或协助网络攻击的难度。主要目标是将系统整合到模型管道中，以减少不安全的代码和不需要的输出，同时限制模型利用对网络犯罪分子的好处。正如 Meta AI 团队所说，最初的版本旨在提供工具来应对白宫承诺中强调的风险。
Published At
12/7/2023 9:30:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.