Groq 的 LPU 推理引擎：AI 机制的游戏规则改变者，超越顶级模型
Summary:
Groq 革命性的人工智能工具 Groq LPU 推理引擎在公共基准测试中黯然失色后，赢得了公众的喜爱。Groq 的首席布道师 Mark Heaps 阐明了 Groq 的创建过程，解释了其以软件为中心的设计，旨在使 AI 在全球范围内可用，以及它改变 AI 系统运行方式的潜力。他还谈到了“Groq”这两个名字与埃隆·马斯克（Elon Musk）的人工智能聊天机器人“Grok”之间可能存在的混淆。
Groq 的新人工智能 （AI） 工具 Groq LPU 推理引擎在公共基准测试中表现出色，在公共话语中掀起了一场革命，其结果优于著名科技巨头的精英模型。Groq 不应该被误认为是 Elon Musk 的 AI 模型 Grok，因为 Groq 不是 AI 模型，而是用于运行模型的芯片基础设施。Groq 的创造者设计了他们独特的“以软件为中心”的 AI 芯片，名为语言处理单元 （LPU），专为推理应用而设计。LPU 使 Groq 能够每秒生成大约 500 个代币。与可公开访问的 AI 模型相比，ChatGPT-3.5 在有限且昂贵的图形处理单元 （GPU） 上运行，每秒只能提供大约 40 个代币。Groq 在 X 平台上受到了相当大的关注，因为它与其他 AI 系统进行了广泛的比较。在新兴的人工智能芯片初创公司中，Groq以其突破性的战略而大放异彩，该战略专注于其编译器技术，以增强简单但强大的架构。
Cointelegraph与Groq的首席布道师Mark Heaps进行了互动，以深入了解该工具及其改变AI系统功能的潜力。根据Heaps的说法，Groq的创始人乔纳森·罗斯（Jonathan Ross）的目标是开发一个可以防止AI鸿沟的系统。在那个时期，张量处理单元 （TPU） 是 Google 独有的系统。然而，LPU 的出现旨在让世界各地的任何人都能够访问这一技术水平，从而为全球提供创新的解决方案。Heaps 将 LPU 描述为“以软件为中心的硬件解决方案”，它不仅统一了芯片之间的数据传输过程，而且统一了芯片之间以及整个网络的数据传输过程。
开发人员目前的困境涉及运行 AI 模型所需的强大 GPU （如 Nvidia 的 A100 和 H100 芯片）的可用性和费用有限。然而，Heaps 提到，Groq 不会遇到同样的问题，因为他们的芯片由 14nm 硅制成，提供了可负担性和可访问性。对于较小规模的硬件部署，GPU 系统仍然具有相关性。但是，LPU 与 GPU 的争论通常取决于工作负载和模型等各个方面。
Heaps 表示，虽然大多数领先的开发人员尚未实现 LPU，但有几个原因促成了这一点，包括相对较新的“LLM 激增”。一些开发人员仍然更喜欢像 GPU 这样的综合解决方案来进行训练和推理。然而，当前的市场条件需要差异化，通用解决方案无法实现这一目标。
除了产品之外，Heaps还谈到了“Groq”这个名字，以及与埃隆·马斯克（Elon Musk）的AI聊天机器人“Grok”的可能混淆。尽管“Grok”直到 2023 年 11 月才获得广泛关注，但“Groq”成立于 2016 年，其名称随后注册为商标。他表示，尽管一些马斯克的粉丝声称他们打算“继承这个名字”或作为一种营销策略，但对公司历史的认识已经让批评者沉默了。目前，重点已转移到 Groq，带有 Q。
Published At
2/22/2024 1:23:14 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.