Google desarrolla un nuevo método para amplificar grandes modelos de lenguaje, lo que podría resolver obstáculos legales
Summary:
Google Research y Google DeepMind han desarrollado una forma de aumentar los grandes modelos de lenguaje (LLM) con otros adicionales, mejorando las tareas existentes y habilitando otras nuevas. Utilizando el LLM de Google comparable a GPT-4, el equipo demostró mejoras significativas en las tareas de traducción y codificación. Sin embargo, el sector se enfrenta a problemas legales sobre el uso de datos protegidos por derechos de autor para el entrenamiento de IA, lo que amenaza con desestabilizar los cimientos de chatbots como ChatGPT. El nuevo método de Google podría reducir los costos y los requisitos para crear o volver a capacitar a un LLM.
Científicos e investigadores de Google Research y Google DeepMind han presentado una técnica que permite mejorar los grandes modelos de lenguaje (LLM) con modelos de lenguaje adicionales. Esto resuelve un problema importante con los LLM, que proporciona nuevas capacidades a los modelos existentes sin necesidad de una reconstrucción total o costosas sesiones de ajuste. Los investigadores subrayan que mejorar un LLM con otro idioma mejora las tareas existentes y abre posibilidades para nuevas tareas que los modelos independientes no podrían manejar.
Los investigadores utilizaron el LLM PaLM2-S de Google, comparable a GPT-4 que impulsa ChatGPT de OpenAI, para el estudio. Inicialmente, PaLM2-S se probó solo, seguido de pruebas después de ser mejorado con modelos de lenguaje más pequeños y especializados. La serie de tareas abarcaba la traducción y la codificación; La versión mejorada demostró aumentos impresionantes, con una mejora del 13 % en las tareas de traducción y un sorprendente aumento del 40 % en las tareas de generación y explicación de código.
Estos aumentos de rendimiento podrían tener un impacto positivo en el sector de la IA de inmediato. Las tareas de traducción mejoradas son particularmente beneficiosas para traducir idiomas de bajo soporte al inglés, un desafío persistente en el aprendizaje automático. La investigación de Google tiene el potencial de avanzar en el campo en este sentido.
Además, esta área de estudio puede ayudar a abordar los problemas legales que amenazan con desmantelar los cimientos de chatbots como ChatGPT. Los grandes creadores de modelos lingüísticos se enfrentan a numerosas demandas que alegan el uso de datos protegidos por derechos de autor para el entrenamiento de la IA. El dilema legal gira en torno a si las organizaciones con fines de lucro pueden utilizar legalmente dichos datos para sus modelos lingüísticos. Si los tribunales fallan en contra del uso de datos protegidos por derechos de autor, continuar brindando los servicios afectados podría convertirse en un desafío increíble o financieramente prohibitivo.
Los altos costos asociados con la capacitación de los LLM y su dependencia de grandes conjuntos de datos significan que productos como ChatGPT podrían tener dificultades para sobrevivir en una industria de IA estadounidense fuertemente regulada. Sin embargo, si el método de mejora de LLM de Google resulta exitoso con más desarrollo, podría reducir los costos y el escalado necesarios para crear o volver a entrenar un LLM.
Por otro lado, Italia ha incluido la regulación de la IA como una prioridad clave durante su presidencia del G7.
Published At
1/5/2024 9:07:08 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.