Cloudflare 让客户更容易阻止人工智能训练机器人

上个月，微软人工智能部门首席执行官穆斯塔法-苏莱曼（Mustafa Suleyman）在一次小组访谈中表示，在他看来，从几乎所有网站的信息中训练出来的人工智能生成服务被视为 "合理使用"。他补充说："任何人都可以复制它、用它再创造、用它再现。这一直是 '免费软件' 的理解"。

这些言论在网上引起了一些人的热议，他们认为苏莱曼的观点表明，微软、OpenAi、谷歌等拥有人工智能系统的公司并不关心那些被 Copilot、ChatGPT、Gemini 等公司训练的网站内容的所有权。

本周，最大的网站托管商之一 Cloudflare 宣布，将让客户更容易地阻止人工智能机器人对其内容的攻击。Cloudflare 在一篇博客文章中表示，包括免费用户在内的所有托管客户都可以进入 Cloudflare 网站的仪表板，然后点击安全选项，最后点击机器人部分。

他们应该会看到一个名为 "AI Scrapers and Crawlers"（人工智能抓取器和爬虫）的新部分，并带有一个切换开关，点击该切换开关将阻止这些人工智能机器人从网站上抓取内容。Cloudflare 表示，"当我们看到新的违规机器人指纹时，我们就会识别出这些机器人在广泛地搜刮网络信息以进行模型训练"，它将在未来更新这一功能。它补充道：

我们担心，一些意图绕过规则访问内容的人工智能公司会不断调整以逃避机器人检测。我们将继续保持警惕，在我们的 AI Scrapers 和 Crawlers 规则中添加更多的僵尸阻止程序，并发展我们的机器学习模型，以帮助互联网保持一个内容创作者可以蓬勃发展的地方，并保持对其内容用于训练或运行推理的模型的完全控制。

博文还提供了一些关于顶级人工智能机器人的信息，这些机器人来自 Cloudflare 托管的网站。其他顶级人工智能搜刮机器人包括 Amazonbot，据说它被用于为亚马逊的 Alexa 服务获取数据。

Bytespider 也是在 Cloudflare 网站中占比最高的人工智能机器人，达到 40.40%。来自 OpenAI 的 GPTBot 紧随其后，占 35.46%。