微软、谷歌、Open AI 和 Anthropic 启动安全研究基金

微信扫一扫,分享到朋友圈

微软、谷歌、Open AI 和 Anthropic 启动安全研究基金

2023 年 7 月,四大科技巨头: 开放人工智能(Open AI)、微软(Microsoft)、谷歌(Google)和人类学(Anthropic)宣布成立一个名为前沿模型论坛(Frontier Model Forum)的平台。该论坛旨在确保安全、负责任地开发生成式人工智能,尤其是前沿人工智能模型。

微软、谷歌、Open AI 和 Anthropic 启动安全研究基金插图

今天,这几家公司联合宣布任命克里斯-梅塞洛(Chris Meserole)为前沿模型论坛的首任执行董事,并成立了一个人工智能安全基金,该基金将投入超过 1000 万美元,用于推动人工智能安全领域的研究。此外,"前沿模型" 还分享了其首个技术工作组在 "红色团队"(red teaming)方面的最新进展。

根据谷歌的博文,克里斯-梅塞洛(Chris Meserole)最近在布鲁金斯学会担任人工智能和新兴技术倡议主任。

现在,作为执行主任,他的最新角色要求他确定和分享前沿模型的最佳实践,向学者、决策者和平民扩展知识,并支持利用人工智能应对社会最大挑战的努力。

Chris Meserole 补充道:

最强大的人工智能模型为社会带来了巨大的希望,但要实现它们的潜力,我们需要更好地了解如何安全地开发和评估它们。我很高兴能与前沿模型论坛一起迎接这一挑战。

至于人工智能安全基金,除了这四位科技巨头之外,帕特里克-麦戈文基金会(Patrick J. McGovern Foundation)、大卫和露西尔-帕卡德基金会(David and Lucile Packard Foundation)、埃里克-施密特(Eric Schmidt,谷歌前首席执行官兼慈善家)和雅安-塔林(Jaan Tallinn,爱沙尼亚亿万富翁)也提供了大笔捐款。

公告还提到:

论坛很高兴能与梅塞洛公司合作,并加深我们与更广泛的研究界的接触,包括人工智能伙伴关系、MLCommons 以及其他领先的非政府组织和政府及跨国组织,以帮助实现人工智能的益处,同时促进其安全发展和使用。

此前,论坛成员在白宫就人工智能自愿承诺达成一致。其中包括承诺在人工智能论坛上报告漏洞并支持第三方发现。此后,论坛一直致力于确定术语和流程的定义,以确保在未来的讨论中达成共识。

如前所述,该基金将优先开发新的模型评估和人工智能模型红队技术。因此,这些将有助于开发和测试前沿系统潜在危险能力的评估技术。

在工作组的最新更新中,工作组提出了 "红队" 的定义,即 "探测人工智能系统和产品以识别有害能力、输出或基础设施威胁的结构化流程"。工作组还分享了强调这一问题的案例研究。

博文还提到了论坛最近正在开展的一些项目。它正在制定一个新的负责任的披露流程,允许前沿人工智能实验室分享与发现前沿人工智能模型中的漏洞或潜在危险能力及其缓解措施有关的信息。它还计划在未来成立一个咨询委员会,帮助制定战略。

该基金由子午线研究所(Meridian Institute)管理,将在未来几个月内征集提案,之后不久即可获得资助。

上一篇

Apple Watch 新增的双指捏合功能详解

下一篇

微软通过新的 "安全核心" 方法提高 Surface 的安全性

你也可能喜欢

评论已经被关闭。

插入图片

排行榜

返回顶部