Meta dévoile « Purple Lama » : une boîte à outils complète de sécurité de l’IA pour les développeurs
Summary:
Meta dévoile « Purple Lama », une boîte à outils contenant des mesures de sécurité pour les modèles d’IA générative. Cette suite d’outils est dédiée à aider les développeurs à construire des applications sécurisées et sûres à l’aide de modèles d’IA générative. Le terme « lama violet » est dérivé des stratégies combinées du « red teaming » (attaques proactives pour identifier les failles) et du « blue teaming » (stratégies réactives pour atténuer les menaces). La boîte à outils comprend des mesures pour la quantification des menaces, l’évaluation de la fréquence des suggestions de code non sécurisé et des évaluations continues pour lutter contre les cyberattaques. L’objectif principal est de réduire les codes non sécurisés et les sorties indésirables dans le pipeline du modèle, en atténuant les opportunités d’exploitation pour les cybercriminels.
Le 7 décembre a vu la révélation d’un ensemble d’outils conçus pour la sécurité et l’analyse comparative des modèles d’intelligence artificielle générative, avec l’aimable autorisation de Meta. La boîte à outils, appelée « Purple Lama », est conçue pour aider les développeurs à construire en toute sécurité avec des outils d’IA générative, y compris Llama-2, un modèle open source de Meta. L’objectif de Purple Llama est d’uniformiser les règles du jeu pour la construction d’expériences d’IA générative sûres et responsables. Il comprend des outils, des évaluations et des modèles pouvant faire l’objet d’une licence pour une utilisation commerciale et la recherche.
Le terme « violet » dans « Purple Llama » est lié à une combinaison de « blue teaming » et de « red teaming », selon un revers de Meta. Le Red Teaming adopte une stratégie dans laquelle les développeurs ou les testeurs internes lancent des attaques contre un modèle d’IA de manière ciblée pour identifier les erreurs, les défauts ou les sorties et interactions indésirables potentiels. Cette pratique permet aux développeurs d’élaborer des stratégies contre les attaques potentiellement dangereuses et de se défendre contre les failles de sécurité ou de sûreté. Le blue teaming est l’inverse comparatif, dans lequel les développeurs ou les testeurs contrecarrent les attaques de red teaming afin d’identifier les stratégies nécessaires pour atténuer les menaces réelles contre les modèles clients ou consommateurs en production.
Meta indique que la fusion des positions défensives (équipe bleue) et offensives (équipe rouge) est essentielle pour vraiment relever les défis que l’IA générative introduit. L’équipe violette combine donc les responsabilités des deux équipes et présente un effort combiné pour évaluer et minimiser les risques potentiels.
Meta affirme que la première série d’évaluations de la sécurité de la cybersécurité pour les grands modèles de langage (LLM) a été dévoilée dans cette version. Il comprend des mesures permettant de quantifier les risques de cybersécurité liés à la gestion des risques, des outils permettant d’évaluer la fréquence des suggestions de code non sécurisé et des outils permettant d’évaluer les mesures de gestion des risques liés à la cybersécurité afin d’accroître la difficulté de générer du code nuisible ou de contribuer aux cyberattaques. L’objectif principal est d’intégrer le système dans les pipelines de modèles afin de réduire les codes non sécurisés et les sorties indésirables, tout en limitant les avantages de l’exploitation des modèles pour les cybercriminels. La version initiale, comme l’indique l’équipe d’IA de Meta, vise à fournir des outils pour faire face aux risques mis en évidence dans les engagements de la Maison Blanche.
Published At
12/7/2023 9:30:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.