Министерство обороны США объявляет конкурс по выявлению предвзятости в системах искусственного интеллекта
Summary:
Министерство обороны США инициировало конкурс по поиску реальных примеров правовой предвзятости в системах ИИ, уделяя особое внимание защищенным группам. Этот конкурс, получивший название «премия за предвзятость», отчасти направлен на то, чтобы определить, представляют ли большие языковые модели, такие как LLama-2 70B от Meta, предвзятость или систематически неверные выходные данные в контексте Министерства обороны. Три лучшие заявки разделят между собой денежный приз в размере 24 000 долларов США, в то время как каждый одобренный участник получит 250 долларов США. Это первый из двух подобных конкурсов, запланированных Пентагоном.
Министерство обороны США инициировало программу поощрения для определения фактических случаев правовых предрассудков в системах ИИ. Участники этой программы будут стремиться выявить явные случаи предвзятости в большой языковой модели (LLM). Как показано в видео на информационной странице премии за предвзятость, объектом тестирования является модель Meta LLama-2 70B с открытым исходным кодом. Представитель видео указал, что цель этого конкурса состоит в том, чтобы точно определить реалистичные ситуации потенциальных реальных применений, в которых магистры права могут проявлять предвзятость или постоянно неправильные результаты в контексте Министерства обороны.
Предвзятость искусственного интеллекта
В первоначальном сообщении Пентагона не было указано, что он добивается случаев стигматизации в отношении лиц, находящихся под защитой. Однако правила конкурса и видео дали это разъяснение. В примере, показанном на видео, модель ИИ была проинструктирована действовать как медицинский работник. Ответы модели на вопрос, связанный со здоровьем, разработанный специально для чернокожих женщин, показали явную предвзятость по сравнению с ответами на тот же вопрос, адаптированный для белых женщин.
Конкурс
Хотя общеизвестно, что системы ИИ могут давать предвзятые результаты, не все случаи предвзятости, вероятно, возникнут при обстоятельствах, связанных с повседневной деятельностью Министерства обороны. Таким образом, не всем выявленным нарушениям будет выплачено вознаграждение. Скорее, это будет соревнование, и три лучшие работы разделят между собой большую часть призового фонда в размере 24 000 долларов, в то время как каждый одобренный участник получит 250 долларов.
Критерии оценки заявок будут основываться на пятибалльной шкале, включая подлинность представленного сценария, релевантность защищаемой группе, подтверждающие данные, краткое описание и количество подсказок, необходимых для воссоздания предвзятости (чем меньше подсказок, тем выше баллы). Пентагон объявил, что это первая из двух наград за предвзятость.
В связанных с этим новостях разработчикам было выдано предупреждение о рисках интеграции систем искусственного интеллекта с блокчейнами.
Published At
1/31/2024 9:15:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.