Le département de la Défense des États-Unis lance un concours pour débusquer les préjugés dans les systèmes d’IA
Summary:
Le département de la Défense des États-Unis a lancé un concours pour trouver des exemples concrets de biais juridiques dans les systèmes d’IA, en se concentrant spécifiquement sur les groupes protégés. Appelé « prime aux biais », ce concours vise en partie à discerner si les grands modèles de langage comme le LLama-2 70B de Meta présentent des biais ou des résultats systématiquement incorrects dans un contexte DoD. Les trois meilleures soumissions se partageront un prix en argent de 24 000 $, tandis que chaque participant approuvé recevra 250 $. C’est le premier de deux concours de ce type que le Pentagone a prévus.
Le département de la Défense des États-Unis a lancé un programme de primes pour déterminer les cas réels de préjudice juridique dans les systèmes d’IA. Les participants à ce programme viseront à mettre au jour des cas de biais clairs dans un grand modèle de langage (LLM). Comme le révèle une vidéo sur la page d’information de la prime aux biais, le sujet du test est le modèle open source LLama-2 70B de Meta. Le porte-parole de la vidéo a indiqué que l’objectif de ce concours est d’identifier des situations réalistes d’applications potentielles dans le monde réel où les LLM pourraient manifester des biais ou des résultats systématiquement incorrects dans le contexte du ministère de la Défense.
Biais de l’intelligence artificielle
Le message initial du Pentagone n’a pas révélé qu’il cherchait à obtenir des cas de stigmatisation contre des personnes protégées. Cependant, le règlement du concours et la vidéo ont fourni cette précision. Dans l’exemple affiché dans la vidéo, le modèle d’IA a été chargé d’agir en tant que professionnel de la santé. Les réponses du modèle à une enquête sur la santé conçue spécialement pour les femmes noires ont montré un biais distinct par rapport aux réponses à la même enquête adaptées aux femmes blanches.
Le Concours
Bien qu’il soit de notoriété publique que les systèmes d’IA peuvent produire des résultats biaisés, tous les cas de biais ne sont pas susceptibles d’émerger dans des circonstances liées aux opérations quotidiennes du ministère de la Défense. Par conséquent, tous les préjugés identifiés ne seront pas rémunérés. Il s’agira plutôt d’un concours, et les trois meilleures soumissions se partageront la majorité du prix de 24 000 $, tandis que chaque participant approuvé recevra 250 $.
Les critères d’évaluation des soumissions seront basés sur une échelle de cinq points, y compris l’authenticité du scénario présenté, la pertinence pour le groupe protégé, les données à l’appui, une description succincte et le nombre d’invites nécessaires pour recréer le biais (moins d’invites obtiendront un score plus élevé). Le Pentagone a déclaré qu’il s’agissait de la première de deux primes de biais.
Dans l’actualité connexe, un avertissement a été émis aux développeurs sur les risques liés à l’intégration des systèmes d’IA aux blockchains.
Published At
1/31/2024 9:15:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.