Meta revela 'Purple Llama': um kit de ferramentas de segurança de IA abrangente para desenvolvedores
Summary:
A Meta lança o "Purple Llama", um kit de ferramentas com medidas de segurança para modelos de IA generativa. Este conjunto de ferramentas é dedicado a ajudar os desenvolvedores a construir aplicativos seguros e seguros usando modelos de IA generativos. O termo "Purple Llama" é derivado das estratégias combinadas de "red teaming" (ataques proativos para identificar falhas) e "blue teaming" (estratégias reativas para mitigar ameaças). O kit de ferramentas inclui métricas para quantificação de ameaças, avaliação de frequência de sugestões de código inseguro e avaliações contínuas para combater ataques cibernéticos. A intenção principal é reduzir códigos inseguros e saídas indesejadas no pipeline do modelo, mitigando as oportunidades de exploração para os cibercriminosos.
No dia 7 de dezembro foi revelado um conjunto de ferramentas projetadas para a segurança e benchmarking de modelos generativos de inteligência artificial, cortesia da Meta. O kit de ferramentas, conhecido como "Purple Llama", foi criado para ajudar os desenvolvedores a construir com segurança com ferramentas de IA generativas, incluindo o Llama-2, um modelo de código aberto da Meta. O objetivo da Purple Llama é nivelar o campo de jogo para a construção de experiências de IA geradoras seguras e responsáveis. Inclui ferramentas licenciáveis, avaliações e modelos para uso comercial e pesquisa.
O termo "Purple" em "Purple Llama" se liga a uma combinação de "blue teaming" e "red teaming", de acordo com um reverso do Meta. O Red Teaming adota uma estratégia em que desenvolvedores ou testadores internos lançam ataques contra um modelo de IA propositalmente para identificar possíveis erros, falhas ou saídas e interações indesejadas. Essa prática permite que os desenvolvedores criem estratégias contra possíveis ataques nocivos e se defendam contra falhas de segurança ou proteção. O Blue Teaming serve como o oposto comparativo, em que desenvolvedores ou testadores neutralizam ataques de red teaming para identificar estratégias necessárias para mitigar ameaças do mundo real contra modelos de clientes ou consumidores em produção.
A Meta indica que fundir posições defensivas (time azul) e ofensivas (time vermelho) é fundamental para realmente enfrentar os desafios que a IA generativa introduz. O Purple-teaming, portanto, combina as responsabilidades de ambas as equipes e apresenta um esforço combinado para avaliar e minimizar potenciais riscos.
A Meta afirma que o primeiro conjunto de avaliações de segurança cibernética para Large Language Models (LLMs) foi revelado por meio deste lançamento. Ele inclui métricas para quantificar o risco de segurança cibernética do LLM, ferramentas para avaliar a frequência de sugestões de código inseguro e ferramentas para avaliar LLMs para aumentar a dificuldade em gerar código prejudicial ou auxiliar em ataques cibernéticos. O principal objetivo é incorporar o sistema em pipelines de modelos para diminuir códigos inseguros e saídas indesejadas e, ao mesmo tempo, limitar os benefícios das explorações de modelos para os criminosos cibernéticos. O lançamento inicial, como afirma a equipe da Meta AI, visa fornecer ferramentas para enfrentar os riscos destacados nos compromissos da Casa Branca.
Published At
12/7/2023 9:30:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.