微软宣布全面推出两项新的人工智能安全功能-电脑汇

今天，微软宣布在 Azure AI 内容安全和 Azure OpenAI 服务中全面推出新的人工智能安全功能。新功能包括 Prompt Shields 和 Protected Material Detection。

Prompt Shields 是一种人工智能解决方案，旨在抵御直接（越狱）和间接的提示注入攻击。它可以与 Azure OpenAI 服务内容过滤器和 Azure AI 内容安全集成。Prompt Shields 采用先进的机器学习算法和自然语言处理技术来识别和减轻用户提示和其他数据中的潜在威胁。

微软宣布全面推出两项新的人工智能安全功能插图

Prompt Shields 的主要功能：

针对直接攻击的提示屏蔽：这种防护以前称为越狱风险检测，针对的是直接提示注入攻击，即用户故意利用系统漏洞从 LLM 引发未经授权的行为。这可能导致生成不适当的内容或违反系统规定的限制。
针对间接攻击的提示防护：旨在防范使用用户或开发人员未直接提供的信息（如外部文档）的攻击。攻击者可能会在这些材料中嵌入隐藏指令，试图在未经授权的情况下控制 LLM 会话。

这些功能可集成到人工智能应用中，以提高其安全性和完整性，防止恶意操纵或利用。

受保护材料检测是一种新的人工智能解决方案，可以防止可能侵犯版权的输出。知识产权侵权索赔的风险是围绕生成式人工智能应用的最大担忧之一。为了解决这一问题，受保护材料检测服务将 LLM 的完成内容与第三方文本内容索引进行匹配扫描，以检测第三方文本内容的使用情况，包括歌曲、新闻文章和精选网页内容。

现在，Azure AI 内容安全和 Azure OpenAI 服务中都提供了提示屏蔽和受保护材料检测功能。您可以在此了解有关这些服务的更多信息：