Meta svela "Purple Llama": un toolkit completo per la sicurezza dell'intelligenza artificiale per gli sviluppatori
Summary:
Meta presenta "Purple Llama", un toolkit con misure di sicurezza per i modelli di intelligenza artificiale generativa. Questa suite di strumenti è dedicata ad assistere gli sviluppatori nella creazione di applicazioni sicure e protette utilizzando modelli di intelligenza artificiale generativa. Il termine "Lama viola" deriva dalle strategie combinate di "red teaming" (attacchi proattivi per identificare i guasti) e "blue teaming" (strategie reattive per mitigare le minacce). Il toolkit include metriche per la quantificazione delle minacce, la valutazione della frequenza dei suggerimenti di codice non sicuro e valutazioni continue per combattere gli attacchi informatici. L'intenzione principale è quella di ridurre i codici non sicuri e gli output indesiderati nella pipeline del modello, mitigando le opportunità di sfruttamento per i criminali informatici.
Il 7 dicembre è stato rivelato un set di strumenti progettati per la sicurezza e il benchmarking dei modelli di intelligenza artificiale generativa, per gentile concessione di Meta. Il toolkit, denominato "Purple Llama", è stato creato per aiutare gli sviluppatori a costruire in modo sicuro e protetto con strumenti di intelligenza artificiale generativa, tra cui Llama-2, un modello open source di Meta. L'obiettivo di Purple Llama è quello di livellare il campo di gioco per la costruzione di esperienze di IA generativa sicure e responsabili. Include strumenti concedibili, valutazioni e modelli per uso commerciale e di ricerca.
Il termine "viola" in "Purple Llama" si lega a una combinazione di "blue teaming" e "red teaming", come da un reverse di Meta. Il red teaming adotta una strategia in cui gli sviluppatori o i tester interni lanciano attacchi contro un modello di intelligenza artificiale intenzionalmente per identificare potenziali errori, guasti o output e interazioni indesiderati. Questa pratica consente agli sviluppatori di elaborare strategie contro potenziali attacchi dannosi e di difendersi da errori di sicurezza o di sicurezza. Il blue teaming è l'opposto, in cui gli sviluppatori o i tester contrastano gli attacchi di red teaming per identificare le strategie necessarie per mitigare le minacce del mondo reale contro i modelli client o consumer in produzione.
Meta indica che fondere sia la posizione difensiva (squadra blu) che quella offensiva (squadra rossa) è la chiave per affrontare davvero le sfide introdotte dall'IA generativa. Il purple-teaming, quindi, combina le responsabilità di entrambi i team e presenta uno sforzo congiunto per valutare e ridurre al minimo i potenziali rischi.
Meta afferma che la prima suite di valutazioni della sicurezza informatica per i modelli linguistici di grandi dimensioni (LLM) è stata svelata attraverso questa versione. Include metriche per quantificare il rischio di sicurezza informatica degli LLM, strumenti per valutare la frequenza dei suggerimenti di codice non sicuro e strumenti per valutare gli LLM per aumentare la difficoltà di generare codice dannoso o assistere in attacchi informatici. L'obiettivo principale è quello di incorporare il sistema nelle pipeline dei modelli per ridurre i codici non sicuri e gli output indesiderati, limitando al contempo i vantaggi degli exploit dei modelli per i criminali informatici. La versione iniziale, come afferma il team di Meta AI, mira a fornire strumenti per affrontare i rischi evidenziati negli impegni della Casa Bianca.
Published At
12/7/2023 9:30:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.