Il motore di inferenza LPU di Groq: un punto di svolta nella meccanica dell'intelligenza artificiale, eclissa i modelli di punta
Summary:
Il rivoluzionario strumento di intelligenza artificiale di Groq, il Groq LPU Inference Engine, ha guadagnato l'adorazione del pubblico dopo aver messo in ombra le prestazioni dei migliori modelli di intelligenza artificiale nei test di benchmark pubblici. Il Chief Evangelist di Groq, Mark Heaps, fa luce sulla creazione di Groq, spiegando il suo design incentrato sul software volto a rendere l'IA accessibile a livello globale e il suo potenziale per cambiare il modo in cui operano i sistemi di IA. Ha anche affrontato la probabile confusione tra i nomi "Groq" e il chatbot AI di Elon Musk "Grok".
Il nuovo strumento di intelligenza artificiale (AI) di Groq, il Groq LPU Inference Engine, ha portato una rivoluzione nel discorso pubblico dopo le sue straordinarie prestazioni nei test di benchmark pubblici, fornendo risultati superiori ai modelli d'élite di importanti giganti della tecnologia. Groq non deve essere confuso con il modello di intelligenza artificiale Grok di Elon Musk, perché Groq non è un modello di intelligenza artificiale ma un'infrastruttura di chip per l'esecuzione di un modello. I creatori di Groq hanno progettato il loro esclusivo chip di intelligenza artificiale "incentrato sul software" chiamato unità di elaborazione del linguaggio (LPU) realizzato per applicazioni di inferenza. La LPU consente a Groq di generare circa 500 token al secondo. Rispetto al modello di intelligenza artificiale accessibile al pubblico, ChatGPT-3.5, che opera su unità di elaborazione grafica (GPU) limitate e costose, fornisce solo circa 40 token al secondo. Groq ha ricevuto una notevole attenzione sulla piattaforma X in quanto viene ampiamente confrontata con altri sistemi di intelligenza artificiale. Tra le start-up emergenti di chip AI, Groq brilla con la sua strategia rivoluzionaria incentrata sulla tecnologia del compilatore per migliorare un'architettura semplice ma potente.
Cointelegraph ha interagito con Mark Heaps, Chief Evangelist di Groq, per una comprensione approfondita dello strumento e del suo potenziale per cambiare il funzionamento dei sistemi di intelligenza artificiale. Secondo Heaps, il fondatore di Groq, Jonathan Ross, mirava a sviluppare un sistema che impedisse il divario dell'IA. A quel tempo, le unità di elaborazione tensoriale (TPU) erano esclusive di Google per i loro sistemi. Tuttavia, l'emergere delle LPU mirava a garantire a chiunque in tutto il mondo l'accesso a questo livello tecnologico per generare soluzioni innovative per il mondo. Heaps ha descritto l'LPU come una "soluzione hardware incentrata sul software" che unifica il processo di viaggio dei dati non solo attraverso il chip, ma da chip a chip e attraverso una rete.
L'attuale situazione per gli sviluppatori comporta la disponibilità limitata e la spesa di GPU robuste come i chip A100 e H100 di Nvidia necessari per l'esecuzione di modelli di intelligenza artificiale. Tuttavia, Heaps ha affermato che Groq non incontra gli stessi problemi data la costruzione del chip in silicio a 14 nm, che offre convenienza e accessibilità. Per le implementazioni hardware su scala ridotta, i sistemi GPU continuano ad avere rilevanza. Tuttavia, il dibattito tra LPU e GPU dipende spesso da vari aspetti come il carico di lavoro e il modello.
Mentre le LPU devono ancora essere implementate dalla maggior parte dei principali sviluppatori, ha affermato Heaps, diverse ragioni contribuiscono a questo, tra cui il relativamente recente "aumento degli LLM". Alcuni sviluppatori preferiscono ancora una soluzione completa come una GPU sia per l'addestramento che per l'inferenza. Tuttavia, le attuali condizioni di mercato hanno reso necessaria una differenziazione e le soluzioni generali non sono riuscite a raggiungere questo obiettivo.
Oltre al prodotto, Heaps ha affrontato il nome "Groq" e la probabile confusione con il chatbot AI di Elon Musk "Grok". Nonostante "Grok" abbia guadagnato un'attenzione diffusa solo nel novembre 2023, "Groq" è stata fondata nel 2016 con il suo nome registrato successivamente. Ha affermato che, nonostante le affermazioni di alcuni fan di Musk secondo cui intendevano "ereditare il nome" o come stratagemma di marketing, la consapevolezza della storia dell'azienda ha messo a tacere i critici. Al momento, l'attenzione si è spostata su Groq, con una Q.
Published At
2/22/2024 1:23:14 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.