El motor de inferencia LPU de Groq: un punto de inflexión en la mecánica de la IA que eclipsa a los mejores modelos
Summary:
La revolucionaria herramienta de inteligencia artificial de Groq, el motor de inferencia Groq LPU, se ha ganado la adoración del público después de eclipsar el rendimiento de los mejores modelos de IA en las pruebas de referencia públicas. El evangelista jefe de Groq, Mark Heaps, arroja luz sobre la creación de Groq, explicando su diseño centrado en el software destinado a hacer que la IA sea accesible a nivel mundial y su potencial para cambiar la forma en que operan los sistemas de IA. También abordó la probable confusión entre los nombres "Groq" y el chatbot de IA de Elon Musk "Grok".
La nueva herramienta de inteligencia artificial (IA) de Groq, el motor de inferencia Groq LPU, ha provocado una revolución en el discurso público después de su destacado desempeño en las pruebas de referencia públicas, proporcionando resultados superiores a los modelos de élite de notables gigantes tecnológicos. Groq no debe confundirse con el modelo de IA de Elon Musk, Grok, porque Groq no es un modelo de IA, sino una infraestructura de chip para ejecutar un modelo. Los creadores de Groq diseñaron su exclusivo chip de IA "centrado en el software" llamado unidad de procesamiento del lenguaje (LPU) hecho para aplicaciones de inferencia. La LPU permite a Groq generar alrededor de 500 tokens por segundo. En comparación con el modelo de IA de acceso público, ChatGPT-3.5, que opera con unidades de procesamiento gráfico (GPU) limitadas y costosas, solo ofrece alrededor de 40 tokens por segundo. Groq recibió una atención considerable en la plataforma X, ya que se compara ampliamente con otros sistemas de IA. Entre las start-ups emergentes de chips de IA, Groq brilla con su innovadora estrategia centrada en su tecnología de compilación para mejorar una arquitectura simple pero poderosa.
Cointelegraph interactuó con Mark Heaps, el evangelista jefe de Groq, para conocer en profundidad la herramienta y su potencial para cambiar la función de los sistemas de IA. Según Heaps, el fundador de Groq, Jonathan Ross, tenía como objetivo desarrollar un sistema que evitara la división de la IA. En ese período, las unidades de procesamiento de tensores (TPU) eran exclusivas de Google para sus sistemas. Sin embargo, la aparición de las LPU tenía como objetivo otorgar a cualquier persona en todo el mundo acceso a este nivel tecnológico para generar soluciones innovadoras para el mundo. Heaps caracterizó la LPU como una "solución de hardware centrada en el software" que unifica el proceso de viaje de datos no solo a través del chip, sino de un chip a otro y a través de una red.
La situación actual para los desarrolladores implica la disponibilidad limitada y el gasto de GPU robustas como los chips A100 y H100 de Nvidia necesarios para ejecutar modelos de IA. Sin embargo, Heaps mencionó que Groq no encuentra los mismos problemas dada la construcción de su chip a partir de silicio de 14 nm, que ofrece asequibilidad y accesibilidad. Para implementaciones de hardware a menor escala, los sistemas de GPU siguen teniendo relevancia. Sin embargo, el debate entre la LPU y la GPU suele depender de varios aspectos, como la carga de trabajo y el modelo.
Si bien las LPU aún no han sido implementadas por la mayoría de los principales desarrolladores, afirmó Heaps, varias razones contribuyen a esto, incluida la relativamente reciente "oleada de LLM". Algunos desarrolladores siguen prefiriendo una solución integral, como una GPU, tanto para el entrenamiento como para la inferencia. Sin embargo, las condiciones actuales del mercado han requerido una diferenciación y las soluciones generales no lo logran.
Además del producto, Heaps abordó el nombre "Groq" y la probable confusión con el chatbot de IA de Elon Musk "Grok". A pesar de que "Grok" no obtuvo una atención generalizada hasta noviembre de 2023, "Groq" se estableció en 2016 con su nombre registrado posteriormente. Afirmó que a pesar de las afirmaciones de algunos fanáticos de Musk de que tenían la intención de "heredar el nombre" o como una estratagema de marketing, el conocimiento de la historia de la compañía ha silenciado a los críticos. En la actualidad, el enfoque se ha desplazado a Groq, con una Q.
Published At
2/22/2024 1:23:14 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.