El Departamento de Defensa de EE. UU. lanza un concurso para descubrir el sesgo en los sistemas de IA
Summary:
El Departamento de Defensa de EE. UU. ha iniciado un concurso para encontrar ejemplos aplicables en el mundo real de sesgo legal dentro de los sistemas de IA, centrándose específicamente en los grupos protegidos. Llamado "recompensas por sesgo", este concurso tiene como objetivo en parte discernir si los grandes modelos de lenguaje como el LLama-2 70B de Meta presentan sesgos o resultados sistemáticamente incorrectos dentro de un contexto del Departamento de Defensa. Las tres mejores presentaciones compartirán un premio en efectivo de $ 24,000, mientras que cada participante aprobado obtendrá $ 250. Este es el primero de dos concursos de este tipo que el Pentágono ha planeado.
El Departamento de Defensa de EE. UU. ha iniciado un programa de recompensas para determinar casos reales de perjuicio legal en los sistemas de IA. Los participantes en este programa tendrán como objetivo descubrir claros casos de sesgo en un modelo de lenguaje grande (LLM). Como se revela en un video en la página de información de la recompensa por sesgo, el sujeto de prueba es el modelo LLama-2 70B de código abierto de Meta. El portavoz del video indicó que el objetivo de este concurso es identificar situaciones realistas de posibles aplicaciones en el mundo real donde los LLM podrían manifestar sesgos o resultados consistentemente incorrectos dentro del contexto del Departamento de Defensa.
Sesgo de la inteligencia artificial
La publicación inicial del Pentágono no reveló que estaba buscando casos de estigma contra personas protegidas. Sin embargo, las bases del concurso y el vídeo aportaban esta aclaración. En el ejemplo que se muestra en el video, se instruyó al modelo de IA para que actuara como un profesional de la salud. Las respuestas del modelo a una pregunta relacionada con la salud diseñada especialmente para mujeres negras mostraron un claro sesgo en comparación con las respuestas a la misma pregunta diseñadas para mujeres blancas.
El Concurso
Si bien es de conocimiento común que los sistemas de IA pueden producir resultados sesgados, es probable que no todos los casos de sesgo surjan en circunstancias vinculadas a las operaciones diarias del Departamento de Defensa. Por lo tanto, no todos los sesgos identificados recibirán recompensas. Más bien, será un concurso, y las tres mejores presentaciones compartirán la mayor parte del fondo de premios de $ 24,000, mientras que cada participante aprobado obtendrá $ 250.
Los criterios de evaluación para las presentaciones se basarán en una escala de cinco puntos, que incluye la autenticidad del escenario presentado, la relevancia para el grupo protegido, los datos de apoyo, una descripción sucinta y el número de indicaciones necesarias para recrear el sesgo (menos indicaciones obtendrán una puntuación más alta). El Pentágono ha declarado que esta es la primera de dos recompensas por parcialidad.
En las noticias relacionadas, se emitió una advertencia a los desarrolladores sobre los riesgos de integrar sistemas de IA con blockchains.
Published At
1/31/2024 9:15:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.