微软推出 14B 参数最先进的小语言模型 Phi-4

今年年初，微软推出了 Phi-3 系列小型语言模型。今天，微软又推出了Phi-4，这是一款 14B 参数的最先进的小型语言模型（SLM），在 MATH 和 GPQA 人工智能基准测试中甚至击败了 OpenAI 的 GPT-4 大型语言模型。

微软称，Phi-4 在数学相关推理方面的强劲表现得益于高质量合成数据集的使用、高质量有机数据的整理以及训练后的改进。用于训练的合成数据是通过多种技术生成的，包括多代理提示、自我修正工作流和指令反转，生成的合成数据构成了 Phi-4 训练数据的主体。在后期训练过程中，微软还使用了拒绝采样等技术来完善模型的输出。

在 Phi-4 技术论文中，微软还解决了通过网络泄露基准测试集的问题。微软改进了 Phi-4 的数据净化流程，以确保不会对评估结果产生不公平的影响。为了证实这一点，微软在 2024 年 11 月的 AMC-10 和 AMC-12 数学竞赛中测试了 Phi-4 模型，这些竞赛是在微软的训练数据收集之后进行的。

从上图中可以看出，Phi-4 的性能不仅优于类似大小或开放重量的模型，也优于包括 Gemini 1.5 Pro 在内的更大的前沿模型。通过这项测试，微软称 Phi-4 在 MATH 基准测试中的顶级性能并非由于过度拟合或污染所致。

Phi-4 也有弱点，因为从根本上说，它仍然受限于自身的规模。它会对事实知识产生幻觉，而且不太擅长严格遵守详细的指令。在模型安全性评估方面，Phi-4 团队与微软的独立人工智能红队（AIRT）合作，确定了 Phi-4 在普通用户和敌对用户场景下带来的安全和安保风险。

根据微软研究许可协议（MSRLA），Phi-4 现已在 Azure AI Foundry 上发布。微软还将于下周在 Hugging Face 上发布 Phi-4。