Antrópica inova modelos de IA influenciados pelo usuário: um passo em direção à inteligência artificial democratizada
Summary:
A Anthropic, uma empresa de IA, desenvolveu um estudo envolvendo um modelo de linguagem grande (LLM) que se adapta aos julgamentos de valor dos usuários. O experimento, inédito nesse tipo, envolveu cerca de 1000 cidadãos americanos que contribuíram para a formulação de uma constituição de IA. O processo destacou certos desafios, mas acabou por conseguir uma melhoria marginal em termos de produção tendenciosa. Anthropic acredita que este pode ser um dos primeiros casos de um grupo público influenciando o comportamento de um LLM e espera que essa técnica possa ser usada para criar modelos culturalmente específicos no futuro.
A empresa de inteligência artificial, Anthropic, é pioneira em um experimento sem precedentes no desenvolvimento de um modelo de linguagem considerável (LLM) adaptado aos julgamentos de valor dos usuários. Em sua busca para democratizar o desenvolvimento da IA, colaborou com @collect_intel e utilizou @usepolis para estabelecer uma constituição de IA baseada nas opiniões de aproximadamente 1000 cidadãos dos EUA. Posteriormente, o modelo estabelecido foi colocado em seu ritmo via IA Constitucional.
Guardrails ou regras pré-definidas de funcionamento empregadas no projeto de muitos LLMs voltados para o consumidor, incluindo o Claude da Anthropic e o ChatGPT da OpenAI para conter resultados indesejados. No entanto, os críticos argumentam que esses guardrails adotados ferem a autonomia do usuário. Eles afirmam que o que é considerado tolerável pode não ser necessariamente benéfico e vice-versa. Além disso, diferenças culturais, temporais e populacionais complicam ainda mais os juízos morais e de valor.
Uma maneira de navegar por esse intrincado problema pode ser permitir que os usuários definam o alinhamento de valor para os próprios modelos de IA. A Anthropic tentou resolver essa questão complexa com o experimento de IA Constitucional Coletiva, fazendo perguntas a 1000 usuários diversos em séries de perguntas de fundo demográfico por meio de pesquisas. O objetivo está em encontrar o equilíbrio entre permitir a discrição editorial e evitar a produção de conteúdo inadequado. O processo envolveu a implementação do feedback do usuário em um modelo que já estava treinado.
A Anthropic utiliza a IA Constitucional para ajustar os LLM's feitos sob medida para segurança e utilidade. Isso é semelhante a instruir o modelo com um conjunto de regras de governo, muito parecido com uma constituição, que ele deve seguir rigorosamente. No experimento da IA Constitucional Coletiva, tentou-se amalgamar o feedback coletivo na constituição do modelo.
De acordo com uma postagem no blog da Anthropic, o experimento inovador parece ter atingido seus objetivos científicos, apesar de revelar obstáculos para atingir seu objetivo final - permitir que os usuários de LLM determinem seus valores coletivos. Os obstáculos incluíram a invenção de um método de benchmarking inovador, já que não há um teste estabelecido para modelos ajustados por meio de um exercício de crowdsourcing devido à novidade desse experimento.
Em conclusão, o modelo que incorporou dados de sondagem de usuários teve um desempenho marginalmente melhor no setor de saídas enviesadas. A Anthropic espera explorar mais o procedimento e espera que as futuras comunidades globais possam aproveitar essas metodologias para criar modelos que atendam especificamente às suas necessidades individuais.
Published At
10/18/2023 5:00:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.