科普：浅谈苹果的设备和服务器基础模型

苹果公司在 WWDC 上发布了新的人工智能语言模型。这些模型既可在苹果设备上本地运行，也可在苹果公司自己的 Apple Silicon-powered AI 服务器上运行。

人工智能（AI）依赖于语言模型，这些模型提供知识输入，以训练人工智能根据提示（查询）生成结果。

利用语言模型，可以对计算机进行特定主题的训练，使其成为某些主题的领域专家。

人工智能调整是指设计和实施人工智能系统的过程，使其符合人类的目标、价值观和预期结果。换句话说，对齐的目的是让人工智能继续执行任务，而不会因为偏离初衷而变得危险。

在 WWDC 2024 大会上，苹果公司发布了苹果智能（Apple Intelligence）--苹果公司自己的人工智能，它将提供基于设备和服务器的人工智能。通过使用 Apple Intelligence 中的新模型，苹果的人工智能将变得更专注、更快速、更准确。

基础语言模型

苹果将其通用生成式人工智能模型称为基础语言模型。这些模型是大型语言模型 (LLM)，使用多达 30 亿个参数，专为大多数用户可能希望使用的基本生成式人工智能而设计。

苹果将这两种模型分别称为设备上的 AFM 和服务器上的 AFM。

苹果公司还在 Apple Intelligence 中内置了其他通用模型。这些模型既可以在设备上运行，也可以在苹果的服务器上运行。

苹果公司提供了一份长达 47 页的白皮书，详细介绍了其基础语言模型的工作原理。从技术角度看，苹果的基础模型使用了基本的人工智能技术，其中包括：

• Transformer architecture
• IO Embedding Matrix
• Pre-normalization
• Query-key normalization
• Grouped-Query attention
• SwiGLU activation
• RoPE positional embeddings
• Fine tuning
• Human adjustments and input

Apple Intelligence 还使用一种名为 AppleBot 的自动网络爬虫。网站可以通过在其 robots.txt 文件中选择退出，通知 AppleBot 不要使用其内容。

在代码人工智能方面，Apple Intelligence 还从 GitHub 上托管的开源软件中学习，并对其进行浓缩，自动删除重复案例。

苹果白皮书详细描述了这些模型的工作原理和训练方法，最后还介绍了一些高级数学知识。

私有云计算

苹果私有云计算（PCC）是一种远程人工智能服务，它利用了上述所有模型，还可以访问其他模型来扩展智能。

根据这篇介绍 PCC 的博文，苹果对 PCC 有几个目标，包括速度、准确性、隐私和网站可靠性。

PCC 还使用与苹果消费类设备相同的 Secure Enclave 和 Secure Boot 技术，以确保操作系统和数据不会被篡改。

与许多其他科技公司提供的人工智能产品一样，PCC 也能远程执行人工智能提示，但性能更快。

苹果公司关于其模型的机器学习研究页面还讨论了苹果公司如何处理负责任的人工智能。

苹果公司在总结其基础模型时说：

我们创建模型的目的是帮助用户在苹果产品上进行日常活动，我们在每个阶段都以负责任的态度开发模型，并以苹果的核心价值观为指导。我们期待着在不久的将来分享更多有关我们更广泛的生成模型系列的信息，包括语言、传播和编码模型。

Apple Intelligence 承诺在设备和云端为 iOS 和 Mac 用户提供更快、更优化的人工智能。我们将拭目以待，看看即将发布的 iOS 18 和下一代 macOS 将如何发挥作用。