虽然微软已经与 OpenAI 及其 GPT 大型语言模型合作，帮助创建生成式人工智能服务，如 Copilot（前身为必应聊天工具）。但是，该公司也在开发自己的语言模型。本周，微软研究院宣布发布 Orca 2，这是其 Orca 语言的第二个版本。
微软在一篇博文中表示，Orca 2 是专为小型 LM 设计的，但仍可用于回答 LLM 等复杂问题。Orca 2有两种大小（70亿和130亿个参数），部分是利用今年早些时候微软帮助 Meta 推出的 Llama 2 LLM 制作的。公司 "根据量身定制的高质量合成数据" 对基于 Llama 2 的模型进行了微调。
微软表示，这使得 Orca 2 模型处理问题的性能与其他 "5-10倍大" 的语言模型不相上下：
Orca 2 使用扩展的、高度定制的合成数据集进行训练。训练数据的生成可以向 Orca 2 传授各种推理技术，如逐步处理法、召回然后生成法、召回-推理-生成法、提取-生成法和直接回答法，同时还能教会它针对不同任务选择不同的解决策略。
Orca 2 模型与 Llama 2 和 WizardLM 等大型语言模型进行了一系列基准测试，测试内容包括 "语言理解、常识推理、多步骤推理、数学解题、阅读理解" 等。博客称：
我们的初步结果表明，Orca 2 的性能大大超越了类似规模的模型。它还达到了类似或优于至少比它大 10 倍的模型的性能水平，展示了为更小的模型配备更好的推理能力的潜力。
虽然微软承认Orca 2确实存在局限性，但迄今为止的测试显示了 "未来进步的潜力"。微软将把 Orca 2 作为一个开源项目发布，以便其他人也能对其进行开发。
