配备 Instinct MI250X GPU 的 AMD Frontier 超级计算机实现了 1 万亿次参数 LLM 运行，与 ChatGPT-4 不相上下。
凭借 AMD 的 EPYC CPU 和 Instinct GPU，Frontier 超级计算机在 LLM 训练领域创造了新纪录。
Frontier 超级计算机是世界领先的超级计算机，也是目前唯一正在运行的 Exascale 机器。这台机器由 AMD 的 EPYC 和 Instinct 硬件驱动，不仅具有顶级的 HPC 性能，而且还是全球第二高效的超级计算机。个人在 Arxiv 上提交的一份报告显示，"前沿" 超级计算机通过 "超参数调整" 已达到训练一万亿个参数的能力，树立了新的行业基准。
在深入探讨关键问题之前，让我们先简单回顾一下 Frontier 超级计算机的基本情况。ORNL 的这台超级计算机从设计之初就采用了 AMD 第三代 EPYC Trento CPU 和 Instinct MI250X GPU 加速器。它安装在美国田纳西州的橡树岭国家实验室（ORNL），由能源部（DOE）运营。目前，它利用 8,699,904 个内核实现了 1.194 Exaflop/s 的速度。HPE Cray EX 架构结合了针对 HPC 和 AI 优化的第 3 代 AMD EPYC CPU、AMD Instinct 250X 加速器和 Slingshot-11 互连。在超级计算机 Top500.org 榜单上，Frontier 一直保持着第一的位置，显示了其统治力。
Frontier 所创下的新纪录是实施有效策略培训 LLM 和最高效地使用板载硬件的结果。该团队通过对 220 亿个、1750 亿个和 1 万亿个参数的广泛测试取得了显著的成果，这些数字是对模型训练过程进行优化和微调的结果。这些结果是通过使用多达 3,000 个 AMD MI250X 人工智能加速器取得的，尽管这些加速器是相对过时的硬件，但却显示出了其强大的性能。
更有趣的是，整个 Frontier 超级计算机拥有 37,000 个 MI250X GPU，因此可以想象使用整个 GPU 池为 LLM 提供动力时的性能。AMD 还即将在全新的超级计算机中采用其 MI300 GPU 加速器，并配备强大的 ROCm 6.0 生态系统，以进一步加速人工智能性能。
服务器和数据中心领域的未来前景广阔，值得注意的是，Frontier 目前采用的硬件在业内并不算新。随着人工智能领域的不断进步，未来市场显然需要更强的计算能力，这就是为什么为这一领域设计的硬件的进步对下一代的发展至关重要。
来源：Arvix
