埃隆-马斯克(Elon Musk)告诉投资者,他的众多公司之一的 xAI 希望建造一台超级计算机,为下一版的 Grok 提供动力。
报道称,xAI 可能会与甲骨文公司合作开发超级计算机,并在 2025 年底前准备就绪。它显然将使用大量英伟达(Nvidia)的 H100 GPU,集群规模是目前最大集群的四倍。
这位亿万富翁今年早些时候表示,Grok 2 需要 2 万台 Nvidia H100 GPU 才能完成训练,而即将推出的 Grok 模型将需要超过 10 万台 H100 GPU。通过建造这台被称为 "计算机千兆工厂" 的超级计算机(以特斯拉千兆工厂命名),xAI 或许能够开发出更先进的语言模型。
随着 OpenAI 的 ChatGPT 在人工智能领域占据主导地位,你很可能还没有尝试过或听说过 Grok。它可以在 x.com 上使用,但需要用户付费订阅。与其他模式相比,Grok 的一大优势是它可以直接访问 X 上的所有帖子,而马斯克一直说 X 是新闻媒体的替代品。
马斯克曾经参与过 OpenAI 的工作,直到他与 OpenAI 的负责人山姆-奥特曼(Sam Altman)在公司发展方向上产生分歧。与 OpenAI 对 ChatGPT 的细节守口如瓶不同,xAI 最近开源了 Grok-1 的权重和架构。
如果 xAI 真的实施这些计划,Nvidia 将成为主要受益者,因为它将增加对 H100 GPU 的需求。此举对整个领域也有好处,因为它将迫使 OpenAI 和谷歌等其他公司进一步创新其模式,以保持领先地位。不幸的是,所有这些额外的计算都需要以某种方式供电,因此,希望马斯克能找到一种使用可再生能源的方法,并将用水量控制在最低水平。
来源:The Information via Reuters