Meta presenta 'Purple Llama': un completo kit de herramientas de seguridad de IA para desarrolladores
Summary:
Meta presenta "Purple Llama", un conjunto de herramientas con medidas de seguridad para modelos de IA generativa. Este conjunto de herramientas está dedicado a ayudar a los desarrolladores a construir aplicaciones seguras y protegidas utilizando modelos de IA generativa. El término "Llama Púrpura" se deriva de las estrategias combinadas de "red teaming" (ataques proactivos para identificar fallas) y "blue teaming" (estrategias reactivas para mitigar amenazas). El kit de herramientas incluye métricas para la cuantificación de amenazas, la evaluación de la frecuencia de sugerencias de código inseguro y evaluaciones continuas para combatir los ciberataques. La intención principal es reducir los códigos inseguros y los resultados no deseados en la canalización del modelo, mitigando las oportunidades de explotación para los ciberdelincuentes.
El 7 de diciembre se presentó un conjunto de herramientas diseñadas para la seguridad y la evaluación comparativa de modelos de inteligencia artificial generativa, cortesía de Meta. El kit de herramientas, conocido como "Purple Llama", está configurado para ayudar a los desarrolladores a construir de forma segura con herramientas de IA generativa, incluido Llama-2, un modelo de código abierto de Meta. El objetivo de Purple Llama es nivelar el campo de juego para la construcción de experiencias de IA generativa seguras y responsables. Incluye herramientas, evaluaciones y modelos licenciables para uso comercial e investigación.
El término "púrpura" en "Purple Llama" se relaciona con una combinación de "equipo azul" y "equipo rojo", según un reverso de Meta. El equipo rojo adopta una estrategia en la que los desarrolladores o probadores internos lanzan ataques contra un modelo de IA a propósito para identificar posibles errores, fallas o resultados e interacciones no deseados. Esta práctica permite a los desarrolladores elaborar estrategias contra posibles ataques dañinos y defenderse contra errores de seguridad o protección. El equipo azul sirve como el opuesto comparativo, en el que los desarrolladores o evaluadores contrarrestan los ataques de equipo rojo para identificar las estrategias necesarias para mitigar las amenazas del mundo real contra los modelos de cliente o consumidor en producción.
Meta indica que fusionar las posiciones defensivas (equipo azul) y ofensivas (equipo rojo) es clave para abordar realmente los desafíos que introduce la IA generativa. El equipo púrpura, por lo tanto, combina las responsabilidades de ambos equipos y presenta un esfuerzo combinado para evaluar y minimizar los riesgos potenciales.
Meta afirma que el primer conjunto de evaluaciones de seguridad de ciberseguridad para grandes modelos de lenguaje (LLM) se ha presentado a través de este comunicado. Incluye métricas para cuantificar el riesgo de seguridad cibernética de los LLM, herramientas para evaluar la frecuencia de sugerencias de código inseguro y herramientas para evaluar los LLM para aumentar la dificultad de generar código dañino o ayudar en ataques cibernéticos. El objetivo principal es incorporar el sistema en las canalizaciones de modelos para disminuir los códigos inseguros y los resultados no deseados y, al mismo tiempo, limitar los beneficios de las explotaciones de modelos para los ciberdelincuentes. El lanzamiento inicial, como afirma el equipo de IA de Meta, tiene como objetivo proporcionar herramientas para abordar los riesgos destacados en los compromisos de la Casa Blanca.
Published At
12/7/2023 9:30:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.