Cloudflare近日宣布推出一个颠覆性的市场 ——“按爬虫付费”，旨在重塑网站拥有者与人工智能（AI）公司的关系。这一全新市场将帮助内容出版者更好地控制他们的内容，同时为 AI 公司提供一种公平的抓取内容的方式。
过去一年，Cloudflare 为应对 AI 爬虫的激增推出了多项工具，包括一键阻止所有 AI 爬虫的解决方案和监控 AI 爬虫访问情况的仪表板。Cloudflare 首席执行官马修・普林斯在接受采访时表示，这些工具为新市场的建立打下了基础。
在 “按爬虫付费” 市场中，网站拥有者可以决定让 AI 爬虫以特定的费率抓取他们的网站，或选择免费开放，甚至完全阻止爬虫访问。这种模式为网站提供了更多选择，使其能够掌控内容的使用权。
这一市场的推出恰逢新闻出版行业面临巨大挑战之际，特别是在谷歌搜索流量逐渐减少和 AI 聊天机器人日益流行的背景下。尽管一些大报社已经与科技公司签署了内容授权协议，但绝大多数中小型出版者依然没有获得公平的收益分配。Cloudflare 希望通过这一创新的商业模式，为更多出版者提供可持续的收入来源。
同时，Cloudflare 还宣布，所有新建网站将默认阻止 AI 爬虫，网站拥有者必须单独授予某些爬虫权限。这一措施得到了包括康泰纳仕、时代杂志、美国新闻社等多家大型出版商的支持，大家都期望借此实现 “基于许可的抓取” 模式。
然而，AI 时代给出版商带来的挑战不容忽视。最新数据显示，AI 爬虫的抓取频率远高于谷歌爬虫。以 OpenAI 的爬虫为例，它每次为出版商带来的推荐流量竟需被抓取1700次，而 Anthropic 更是需要73，000次。这使得出版商在依赖用户访问网站的商业模式上面临严峻考验。
Cloudflare 还表示，该市场的真正潜力在于未来 “智能代理” 的广泛应用。想象一下，用户通过智能代理程序获取最新的科研成果或法律信息，而这些代理程序可以按需为优质内容付费。
参与这一实验的 AI 公司和出版商需在 Cloudflare 上注册账户，通过平台设定价格和交易。虽然目前没有使用加密货币，Cloudflare 的 CEO 暗示未来可能会探索使用稳定币进行交易。
Cloudflare 的 “按爬虫付费” 市场为出版者提供了一条新的盈利路径，虽然还面临诸多挑战，但其潜力不可小觑。
