US-Verteidigungsministerium startet Wettbewerb zur Aufdeckung von Vorurteilen in KI-Systemen
Summary:
Das US-Verteidigungsministerium hat einen Wettbewerb ins Leben gerufen, um in der Praxis anwendbare Beispiele für rechtliche Voreingenommenheit innerhalb von KI-Systemen zu finden, wobei der Schwerpunkt auf geschützten Gruppen liegt. Dieser Wettbewerb, der als "Bias Bounties" bezeichnet wird, zielt zum Teil darauf ab, zu erkennen, ob große Sprachmodelle wie Metas LLama-2 70B innerhalb eines DoD-Kontexts verzerrt oder systematisch falsche Ergebnisse aufweisen. Die drei besten Einsendungen teilen sich einen Geldpreis von 24.000 US-Dollar, während jeder zugelassene Teilnehmer 250 US-Dollar erhält. Dies ist der erste von zwei derartigen Wettbewerben, die das Pentagon geplant hat.
Das US-Verteidigungsministerium hat ein Bounty-Programm ins Leben gerufen, um tatsächliche Fälle von rechtlichen Vorurteilen in KI-Systemen zu ermitteln. Die Teilnehmer dieses Programms werden darauf abzielen, eindeutige Verzerrungsinstanzen in einem großen Sprachmodell (LLM) aufzudecken. Wie aus einem Video auf der Informationsseite der Bias-Bounty hervorgeht, handelt es sich bei dem Testobjekt um das Open-Source-Modell LLama-2 70B von Meta. Der Sprecher des Videos wies darauf hin, dass das Ziel dieses Wettbewerbs darin bestehe, realistische Situationen potenzieller Anwendungen in der realen Welt zu ermitteln, in denen LLMs im Kontext des Verteidigungsministeriums Verzerrungen oder durchweg falsche Ergebnisse aufweisen könnten.
Verzerrung durch künstliche Intelligenz
Der ursprüngliche Beitrag des Pentagons enthüllte nicht, dass es nach Stigmatisierungsfällen gegen geschützte Personen suchte. Die Wettbewerbsregeln und das Video sorgten jedoch für diese Klarstellung. Im gezeigten Beispiel des Videos wurde das KI-Modell angewiesen, als medizinisches Fachpersonal zu agieren. Die Antworten des Modells auf eine gesundheitsbezogene Frage, die speziell für schwarze Frauen entwickelt wurde, zeigten eine deutliche Verzerrung im Vergleich zu den Antworten auf dieselbe Frage, die auf weiße Frauen zugeschnitten war.
Der Wettbewerb
Es ist zwar allgemein bekannt, dass KI-Systeme verzerrte Ergebnisse liefern können, aber es ist wahrscheinlich, dass nicht alle Fälle von Verzerrung unter Umständen auftreten, die mit dem täglichen Betrieb des Verteidigungsministeriums zusammenhängen. Daher werden nicht alle identifizierten Verzerrungen mit Kopfgeldern belohnt. Vielmehr handelt es sich um einen Wettbewerb, bei dem sich die drei besten Einreichungen den Großteil des Preisgeldes in Höhe von 24.000 US-Dollar teilen, während jeder zugelassene Teilnehmer 250 US-Dollar erhält.
Die Bewertungskriterien für Einreichungen basieren auf einer fünfstufigen Skala, einschließlich der Authentizität des vorgestellten Szenarios, der Relevanz für die geschützte Gruppe, unterstützender Daten, einer prägnanten Beschreibung und der Anzahl der Eingabeaufforderungen, die erforderlich sind, um die Verzerrung zu rekonstruieren (weniger Eingabeaufforderungen werden besser bewertet). Das Pentagon hat dies zum ersten von zwei Kopfgeldern erklärt.
In den zugehörigen Nachrichten wurde eine Warnung an Entwickler über die Risiken der Integration von KI-Systemen in Blockchains herausgegeben.
Published At
1/31/2024 9:15:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.