O mecanismo de inferência LPU da Groq: um divisor de águas na mecânica de IA, supera os principais modelos
Summary:
A revolucionária ferramenta de inteligência artificial da Groq, o Groq LPU Inference Engine, ganhou a adoração do público depois de ofuscar o desempenho dos principais modelos de IA em testes públicos de benchmark. O evangelista-chefe da Groq, Mark Heaps, lança luz sobre a criação da Groq, explicando seu design centrado em software destinado a tornar a IA acessível globalmente e seu potencial para mudar a maneira como os sistemas de IA operam. Ele também abordou a provável confusão entre os nomes "Groq" e o chatbot de IA "Grok", de Elon Musk.
A nova ferramenta de inteligência artificial (IA) da Groq, o Groq LPU Inference Engine, trouxe uma revolução no discurso público após seu desempenho de destaque em testes de benchmark públicos, fornecendo resultados superiores aos modelos de elite de gigantes notáveis da tecnologia. Groq não deve ser confundido com o modelo de IA Grok de Elon Musk porque Groq não é um modelo de IA, mas uma infraestrutura de chip para executar um modelo. Os criadores do Groq projetaram seu chip de IA exclusivo "centrado em software" chamado de unidade de processamento de linguagem (LPU) feito para aplicações de inferência. A LPU capacita Groq a gerar cerca de 500 tokens por segundo. Quando contrastado com o modelo de IA publicamente acessível ChatGPT-3.5, que opera em unidades de processamento gráfico (GPUs) limitadas e caras, entrega apenas cerca de 40 tokens por segundo. Groq recebeu atenção considerável na plataforma X, pois é comparada a outros sistemas de IA extensivamente. Entre as startups emergentes de chips de IA, a Groq brilha com sua estratégia inovadora com foco em sua tecnologia de compilador para aprimorar uma arquitetura simples, mas poderosa.
O Cointelegraph interagiu com Mark Heaps, o evangelista-chefe da Groq, para uma compreensão profunda da ferramenta e seu potencial para mudar a função dos sistemas de IA. De acordo com Heaps, o fundador da Groq, Jonathan Ross, tinha como objetivo desenvolver um sistema que evitasse a divisão da IA. Naquela época, as unidades de processamento de tensores (TPUs) eram exclusivas do Google para seus sistemas. No entanto, o surgimento das LPUs teve como objetivo garantir a qualquer pessoa em todo o mundo acesso a esse nível de tecnologia para gerar soluções inovadoras para o globo. Heaps caracterizou a LPU como uma "solução de hardware centrada em software" que unifica o processo de viagem de dados não apenas através do chip, mas de chip para chip e em toda a rede.
A situação atual para os desenvolvedores envolve a disponibilidade limitada e as despesas de GPUs robustas, como os chips A100 e H100 da Nvidia, necessários para executar modelos de IA. No entanto, Heaps mencionou que a Groq não encontra os mesmos problemas, dada a construção de seu chip a partir de silício de 14nm, oferecendo acessibilidade e acessibilidade. Para implantações de hardware de menor escala, os sistemas de GPU continuam a ter relevância. No entanto, o debate LPU versus GPU geralmente depende de vários aspectos, como a carga de trabalho e o modelo.
Embora as LPUs ainda não tenham sido implementadas pela maioria dos principais desenvolvedores, Heaps afirmou, várias razões contribuem para isso, incluindo o relativamente recente "aumento de LLMs". Alguns desenvolvedores ainda preferem uma solução abrangente, como uma GPU, para treinamento e inferência. No entanto, as actuais condições de mercado exigiram uma diferenciação, com as soluções gerais a não o conseguirem.
Além do produto, Heaps abordou o nome "Groq" e a provável confusão com o chatbot de IA "Grok", de Elon Musk. Apesar de "Grok" ganhar atenção generalizada apenas em novembro de 2023, "Groq" foi criada em 2016 com seu nome registrado posteriormente. Ele afirmou que, apesar das alegações de alguns fãs de Musk de que pretendiam "herdar o nome" ou como uma jogada de marketing, a consciência da história da empresa silenciou os críticos. No momento, o foco mudou para Groq, com um Q.
Published At
2/22/2024 1:23:14 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.