今年 1 月,微软宣布计划将 NPU 优化版本的 DeepSeek-R1 模型直接引入采用高通骁龙 X 处理器的 Copilot+ PC。今年 2 月,DeepSeek-R1-Distill-Qwen-1.5B 首次在 AIToolkit for VSCode 中可用。
今天,微软宣布通过 Azure AI Foundry 为 Copilot+ PC 提供 DeepSeek R1 7B 和 14B 蒸馏模型。在 Copilot+ PC 上本地运行 7B 和 14B 模型的能力将使开发人员能够构建以前无法实现的新型人工智能驱动的应用程序。
由于这些模型在 NPU 上运行,用户可以期待持续的人工智能计算能力,同时减少对 PC 电池寿命和散热性能的影响。此外,他们的 CPU 和 GPU 还可用于执行其他任务。
微软强调,它使用内部自动量化工具 Aqua 将所有 DeepSeek 模型变体量化为 int4 权重。遗憾的是,模型标记速度相当低。据微软报告,14B 模型的标记速度仅为 8 tok/秒,1.5B 模型的标记速度接近 40 tok/秒。微软提到,它正在进一步优化以提高速度。随着微软继续优化性能,这些型号对 Copilot+ PC 的影响预计将显著增加。
感兴趣的开发人员可以通过人工智能工具包 VS 代码扩展,在 Copilot+ PC 上下载并运行 DeepSeek 模型的 1.5B、7B 和 14B 版本。DeepSeek 模型以 ONNX QDQ 格式进行了优化,可直接从 Azure AI Foundry 下载。这些模型将来也会出现在采用英特尔酷睿 Ultra 200V 和 AMD Ryzen 处理器的 Copilot+ PC 上。
对视频感兴趣的朋友请移步(需魔法):
微软的这一举动标志着微软正在推动更强大的设备上人工智能功能,为人工智能驱动的应用开辟新的可能性。