无论是 CPU、GPU 还是 NPU,人工智能和 ML 处理能力已成为决定现代硬件能力的重要指标。除了处理器本身的处理能力,人工智能任务还会消耗大量内存,这取决于所选参数和模型的精度。例如,单精度(float32)通常会消耗参数值的四倍。因此,即使是 32GB 的 RTX 5090,在推理一个 80 亿参数的模型时也会达到饱和状态。
AMD RX 7900 XTX、英伟达 RTX 4090 和 RTX 5090 等显卡依赖于其可用的 24-32GB VRAM 缓冲区。虽然这些都是典型的台式机硬件,但也有人试图在移动设备上超越这些规格。例如,AMD 在今年早些时候的 CES 上发布了 Ryzen AI Max 和 Max+ APU,它们可以分配高达 96GB 的内存。得益于此,AMD 声称 Max+ 395 可以在这样的内存需求负载下轻松击败英伟达的 RTX 4090。
与此同时,Phison 早就开始研发这种技术,帮助硬件避免可用缓冲区耗尽。它的 aiDAPTIV+ 功能套件通过扩展可用的 HBM(高带宽内存)/GDDR,并将其与基于 NAND 闪存的 “aiDAPTIVCache” 相结合,帮助实现动态缓存。缓存采用的是 Phison 自己的 AI100 SSD。在 NAND 上进行缓存的成本更低,因为 NAND 本身的价格通常比 HBM 甚至 GDDR 便宜得多。
早在 2017 年 SIGGRAPH 大会上,AMD 推出 Radeon Pro SSG 时就首次尝试了类似的功能。该公司使用 2TB NVMe 作为 GPU 的板载 VRAM。
Phison 的 aiDAPTIV+ 技术已经应用于 Maingear 的 AI PRO 台式工作站,今天在 GTC 2025 上,两家公司又推出了一款新的概念笔记本电脑。aiDAPTIV+有一些新的增强功能,其中包括新的3.0版aiDAPTIVLink中间件。该中间件负责固态硬盘的 NAND 和 GPU 之间的数据传输。
据菲森公司称,由于令牌长度更长,aiDAPTIVLink 3.0 版可提供更快的首次令牌时间(TTFT)召回响应和更大的 LLM(大语言模型)提示上下文。
下图显示,一旦模型规模超过 130 亿,Phison 的 aiDAPTIV+ 就能轻松超越 Maingear 没有 aiDAPTIV+ 的四路英伟达 RTX 6000 Ada 设置。每个 RTX 6000 Ada 都内置 48GB GDDR6 内存。
Maingear 解释了使用 Phison 的 aiDAPTIV+ 的工作站上的动态缓存是如何工作的:
PRO AI SHODAN 对 70B 训练模型进行动态切片,将当前切片提供给 GPU 以进行高速训练,同时将模型的其余部分存储在 DRAM 和专门的 Phison AI100 SSD 中。每个英伟达 RTX 6000 Ada 在训练期间都能以全速运行,停机时间极短。
Phison 称,Maingear 即将推出的概念 AI 笔记本电脑是 “业内首款” 此类设备,可支持多达 80 亿个参数 LLM 的推理。该公司表示,对它感兴趣的人可以在 Maingear 的网站上注册。公司没有公布定价信息。新技术将于 2025 年 4 月开始供应。