苹果正在为 Siri 开发屏幕感知功能

最新的 iOS 18.2 beta 2 已于周一开始向开发者推出。该更新带来了大量新功能，包括设置中的 ChatGPT、备注中的 “创建图片”、查找我的升级、邮件应用徽章等。稳定版更新预计将在下个月的某个时候发布。

现在，我们还发现苹果正在为其聊天助手 Siri 开发一项高级功能。作为  Apple Intelligence 功能的一部分，苹果为开发者提供了 API，可以让 Siri 更好地了解屏幕上发生的事情。据报道，有一种新的 API 可以让开发者将其应用程序上的屏幕内容提供给 Siri 和苹果智能。摘自苹果公司的文档：

当用户对屏幕上的内容提出问题或希望对其执行操作时，Siri 和 Apple Intelligence 可以检索内容，以回答问题并执行操作。如果用户明确提出要求，Siri 和 Apple Intelligence 可以将内容发送到支持的第三方服务。例如，某人可以查看一个网站，并通过说或输入类似 “嘿 Siri，这个文档是关于什么的？” 这样的短语，使用 Siri 提供一个摘要。

深入 GPT-4o：OpenAI 的系统卡详细介绍了安全措施和风险

在最新的 iOS 18.2 测试版更新中，与 Siri 集成的 ChatGPT 可让你询问有关图片、视频、PDF 和演示文稿的问题，并获得更多相关信息。例如，你可以问 Siri：“这个文档是关于什么的？” Siri 会截图给 ChatGPT，并提供你所需的信息。

不过，正如 MacRumors 所指出的，ChatGPT 集成与苹果文档中描述的屏幕感知功能并不相同。苹果将屏幕感知功能概括为 Siri 理解、分析屏幕上的内容并采取行动的能力。例如，如果有人给你发了一条联系人号码的短信，你可以要求 Siri 将其添加到你的联系人列表中。

有趣的是，即使在最新的 iOS 18.2 beta 2 更新中，上述功能也无法使用，ChatGPT 目前只能访问屏幕截图。看来，这可能是明年才会出现的几项 Siri 功能的一部分。