Microsoft Azure AI 内容安全增加新有害内容检测方法

微软今天发布了几项与生成式人工智能安全功能相关的公告。其中包括 Azure AI 内容安全中的一个新工具，旨在检测和纠正人工智能生成的幻觉内容。微软还宣布，其 Azure OpenAI 服务将开始在该服务通过 DALL-E 3 创建的图像中添加隐形水印。

微软的人工智能安全公告还没有结束。今天，微软还透露，它已经开始公开预览其 Azure AI 内容安全服务中新的多模态 API。该 API 可以检测由人类和人工智能工具创建的应用程序和服务中的有害或不当内容。

微软在一篇博文中表示：

多模态 API 可接受文本和图像输入。它的设计目的是执行多类别和多严重性检测，这意味着它可以对多个类别的内容进行分类，并为每个类别分配一个严重性分数。对于每个类别，系统都会按 0、2、4 或 6 的等级返回严重程度。数字越大，内容越严重。

[Win] robocopy - Windows下的文件同步工具

新的多模态 API 旨在检测文本和图像（包括表情符号）中可能包含的有害、不安全或不恰当的内容。这包括露骨内容、仇恨言论、暴力、自残和性内容等主题。微软还表示，即使这类内容包含在文本和图片的组合中，API 也能发现。API 可以检测出有害内容，而如果单独查看文字和图片，这些有害内容可能并不明显。

微软补充道：

通过实现这些目标，多模态检测功能可确保用户环境更安全、更受尊重，在这种环境下生成的内容既有创造性，又有责任感。

微软还表示，新的多模式应用程序接口（Multimodel API）能够快速检测出有害内容，从而避免将其发布给应用程序或服务的用户。