Anthropic innova en modelos de IA influenciados por el usuario: un paso hacia la democratización de la inteligencia artificial
Summary:
Anthropic, una empresa de inteligencia artificial, desarrolló un estudio que involucra un modelo de lenguaje grande (LLM) que se adapta a los juicios de valor de los usuarios. El experimento, el primero de su tipo, involucró a alrededor de 1000 ciudadanos estadounidenses que contribuyeron a formular una constitución de IA. El proceso puso de relieve ciertos desafíos, pero finalmente logró una mejora marginal en términos de resultados sesgados. Anthropic cree que este podría ser uno de los primeros casos en los que un grupo público influye en el comportamiento de un LLM y espera que esta técnica pueda utilizarse para crear modelos culturalmente específicos en el futuro.
La corporación de inteligencia artificial, Anthropic, es pionera en un experimento sin precedentes en el desarrollo de un modelo de lenguaje considerable (LLM) adaptado a los juicios de valor de los usuarios. En su búsqueda por democratizar el desarrollo de la IA, colaboró con @collect_intel y utilizó @usepolis para establecer una constitución de IA basada en las opiniones de aproximadamente 1000 ciudadanos estadounidenses. Posteriormente, el modelo establecido se puso a prueba a través de la IA constitucional.
Barandillas o reglas de funcionamiento predefinidas empleadas en el diseño de muchos LLM orientados al consumidor, incluidos Claude de Anthropic y ChatGPT de OpenAI, para frenar los resultados no deseados. No obstante, los críticos argumentan que estas medidas adoptadas infringen la autonomía del usuario. Sostienen que lo que se considera tolerable puede no ser necesariamente beneficioso y viceversa. Además, las diferencias culturales, temporales y poblacionales complican aún más los juicios morales y de valor.
Una forma de sortear este intrincado problema podría ser permitir que los usuarios definan ellos mismos la alineación de valores para los modelos de IA. Anthropic intentó abordar este complejo problema con el experimento de IA constitucional colectiva, haciendo una serie de preguntas a 1000 usuarios de diversos antecedentes demográficos a través de encuestas. El objetivo radica en encontrar el equilibrio entre permitir la discrecionalidad editorial y evitar la producción de contenido inapropiado. El proceso implicó la implementación de comentarios de los usuarios sobre un modelo que ya estaba entrenado.
Anthropic utiliza la IA constitucional para ajustar los LLM hechos a medida para la seguridad y la utilidad. Esto es similar a instruir al modelo con un conjunto de reglas de gobierno, muy parecido a una constitución, que luego debe cumplir estrictamente. En el experimento de IA Constitucional Colectiva, se intentó amalgamar la retroalimentación colectiva en la constitución del modelo.
Según una publicación de blog de Anthropic, el innovador experimento parece haber cumplido sus objetivos científicos a pesar de revelar obstáculos para lograr su objetivo final: permitir a los usuarios de LLM determinar sus valores colectivos. Los obstáculos incluyeron la invención de un método innovador de evaluación comparativa, ya que no existe una prueba establecida para los modelos ajustados a través de un ejercicio de colaboración colectiva debido a la novedad de este experimento.
En conclusión, el modelo que incorpora datos de encuestas de usuarios se comportó ligeramente mejor en el sector de los resultados sesgados. Anthropic espera seguir explorando el procedimiento y tiene la esperanza de que las futuras comunidades globales puedan aprovechar estas metodologías para crear modelos que se adapten específicamente a sus necesidades individuales.
Published At
10/18/2023 5:00:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.