Groq'un LPU Çıkarım Motoru: Yapay Zeka Mekaniğinde Oyun Değiştirici, En İyi Modelleri Gölgede Bırakıyor
Summary:
Groq'un devrim niteliğindeki yapay zeka aracı Groq LPU Inference Engine, halka açık kıyaslama testlerinde en iyi yapay zeka modellerinin performanslarını gölgede bıraktıktan sonra halkın beğenisini kazandı. Groq'un Baş Evangelisti Mark Heaps, Groq'un yaratılışına ışık tutarak, yapay zekayı küresel olarak erişilebilir kılmayı amaçlayan yazılım merkezli tasarımını ve yapay zeka sistemlerinin çalışma şeklini değiştirme potansiyelini açıklıyor. Ayrıca "Groq" isimleri ile Elon Musk'ın yapay zeka sohbet robotu "Grok" arasındaki olası karışıklığa da değindi.
Groq'un yeni yapay zeka (AI) aracı Groq LPU Inference Engine, halka açık kıyaslama testlerindeki göze çarpan performansının ardından kamu söyleminde bir devrim yarattı ve önemli teknoloji devlerinin seçkin modellerinden daha üstün sonuçlar sağladı. Groq, Elon Musk'ın yapay zeka modeli Grok ile karıştırılmamalıdır çünkü Groq bir yapay zeka modeli değil, bir modeli çalıştırmak için bir çip altyapısıdır. Groq'un yaratıcıları, çıkarım uygulamaları için yapılmış bir dil işleme birimi (LPU) adlı benzersiz "yazılım merkezli" AI çiplerini tasarladılar. LPU, Groq'un saniyede yaklaşık 500 jeton üretmesini sağlar. Sınırlı ve pahalı grafik işleme birimleri (GPU'lar) üzerinde çalışan, herkesin erişebileceği yapay zeka modeliyle karşılaştırıldığında, ChatGPT-3.5, saniyede yalnızca yaklaşık 40 jeton sunar. Groq, diğer yapay zeka sistemleriyle yoğun bir şekilde karşılaştırıldığı için X platformunda büyük ilgi gördü. Gelişmekte olan AI çip start-up'ları arasında Groq, basit ama güçlü bir mimariyi geliştirmek için derleyici teknolojisine odaklanan çığır açan stratejisiyle öne çıkıyor.
Cointelegraph, aracı ve yapay zeka sistemlerinin işlevini değiştirme potansiyelini derinlemesine anlamak için Groq'un Baş Evangelisti Mark Heaps ile etkileşime girdi. Heaps'e göre, Groq'un kurucusu Jonathan Ross, yapay zeka bölünmesini önleyecek bir sistem geliştirmeyi amaçladı. O dönemde, tensör işleme birimleri (TPU'lar) sistemleri için Google'a özeldi. Bununla birlikte, LPU'ların ortaya çıkışı, dünya için yenilikçi çözümler üretmek için dünya çapındaki herkese bu teknoloji düzeyine erişim sağlamayı amaçladı. Heaps, LPU'yu veri taşıma sürecini yalnızca çip genelinde değil, çipten çipe ve bir ağ boyunca birleştiren "yazılım merkezli bir donanım çözümü" olarak nitelendirdi.
Geliştiriciler için mevcut çıkmaz, AI modellerini çalıştırmak için gereken Nvidia'nın A100 ve H100 yongaları gibi sağlam GPU'ların sınırlı kullanılabilirliğini ve masrafını içeriyor. Ancak Heaps, Groq'un çiplerinin 14nm silikondan yapısı göz önüne alındığında aynı sorunlarla karşılaşmadığını ve satın alınabilirlik ve erişilebilirlik sunduğunu belirtti. Daha küçük ölçekli donanım dağıtımları için GPU sistemleri alakalı olmaya devam ediyor. Bununla birlikte, LPU'ya karşı GPU tartışması genellikle iş yükü ve model gibi çeşitli yönlere bağlıdır.
LPU'lar henüz önde gelen geliştiricilerin çoğunluğu tarafından uygulanmamış olsa da, Heaps, nispeten yeni "LLM'lerin dalgalanması" da dahil olmak üzere çeşitli nedenlerin buna katkıda bulunduğunu belirtti. Bazı geliştiriciler hala hem eğitim hem de çıkarım için GPU gibi kapsamlı bir çözümü tercih ediyor. Bununla birlikte, mevcut piyasa koşulları, genel çözümlerin bunu başaramaması nedeniyle farklılaşmayı zorunlu kılmıştır.
Heaps, ürüne ek olarak "Groq" ismine ve Elon Musk'ın yapay zeka sohbet robotu "Grok" ile olası karışıklığa da değindi. "Grok" yalnızca Kasım 2023'te yaygın bir ilgi görmesine rağmen, "Groq" 2016 yılında kuruldu ve adı daha sonra ticari marka haline getirildi. Bazı Musk hayranlarının "adı miras almayı" amaçladıkları veya bir pazarlama hilesi olarak iddia etmelerine rağmen, şirketin geçmişine ilişkin farkındalığın eleştirmenleri susturduğunu belirtti. Şu anda, odak noktası Q ile Groq'a kaydı.
Published At
2/22/2024 1:23:14 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.