Google desenvolve novo método para amplificar grandes modelos de linguagem, potencialmente resolvendo obstáculos legais
Summary:
O Google Research e o Google DeepMind desenvolveram uma maneira de aumentar os modelos de linguagem grande (LLMs) com modelos adicionais, melhorando as tarefas existentes e habilitando novas. Usando o LLM do Google comparável ao GPT-4, a equipe demonstrou melhorias significativas nas tarefas de tradução e codificação. No entanto, o setor enfrenta questões legais sobre o uso de dados protegidos por direitos autorais para treinamento de IA, ameaçando desestabilizar as bases de chatbots como o ChatGPT. O novo método do Google poderia potencialmente reduzir os custos e os requisitos para criar ou reciclar um LLM.
Cientistas e pesquisadores do Google Research e do Google DeepMind revelaram uma técnica que permite que grandes modelos de linguagem (LLMs) sejam aprimorados com modelos de linguagem adicionais. Isso resolve um problema significativo com LLMs, que é fornecer novos recursos para modelos existentes sem precisar de uma reconstrução total ou sessões de ajuste fino caras. Os pesquisadores ressaltam que aprimorar um LLM com outra linguagem melhora as tarefas existentes e abre possibilidades para novas tarefas que os modelos autônomos não poderiam lidar.
Os pesquisadores utilizaram o PaLM2-S LLM do Google – comparável ao GPT-4 que alimenta o ChatGPT da OpenAI – para o estudo. Inicialmente, o PaLM2-S foi testado isoladamente, seguido de testes após ser aprimorado com modelos de linguagem menores e especializados. A série de tarefas englobou tradução e codificação; A versão aprimorada demonstrou aumentos impressionantes, com uma melhoria de 13% nas tarefas de tradução e um aumento impressionante de 40% na geração de código e tarefas de explicação.
Esses aumentos de desempenho podem impactar positivamente o setor de IA imediatamente. Tarefas de tradução aprimoradas são particularmente benéficas para traduzir idiomas de baixo suporte para o inglês, um desafio persistente no aprendizado de máquina. A pesquisa do Google tem potencial para avançar nesse campo.
Além disso, essa área de estudo pode ajudar a resolver questões legais que ameaçam desmantelar fundações de chatbots como o ChatGPT. Grandes criadores de modelos de linguagem estão enfrentando inúmeros processos judiciais alegando o uso de dados protegidos por direitos autorais para treinamento de IA. O dilema jurídico gira em torno de saber se as organizações com fins lucrativos podem utilizar legalmente esses dados para seus modelos de linguagem. Se os tribunais decidirem contra o uso de dados protegidos por direitos autorais, continuar a fornecer serviços afetados pode se tornar incrivelmente desafiador ou financeiramente proibitivo.
Os altos custos associados ao treinamento de LLMs e sua dependência de grandes conjuntos de dados significam que produtos como o ChatGPT podem lutar para sobreviver em uma indústria de IA fortemente regulamentada nos EUA. No entanto, se o método de aprimoramento de LLM do Google for bem-sucedido com mais desenvolvimento, ele poderá reduzir os custos e o dimensionamento necessários para criar ou retreinar um LLM.
À parte, a Itália listou a regulamentação da IA como uma prioridade fundamental durante sua presidência do G7.
Published At
1/5/2024 9:07:08 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.