当AI聊天机器人、AI搜索受到越来越多用户的青睐，AI厂商与内容创作者的矛盾已然不可调和，AI时代的流量争夺战迎来了全线升级，“AI摘要”劫持流量更是成为内容创作者拒绝接受的现实。这时候，云服务提供商Cloudflare选择与内容创作者站在一起，不久前宣布将默认阻止AI爬虫在未经网站所有者许可或补偿的情况下抓取其内容。
为了实现这一愿景，Cloudflare CEO马修·普林斯透露目前正在与谷歌进行谈判，要求后者将传统搜索引擎的爬虫与AI爬虫分离，使得网站可以按照自身需求决定是否屏蔽AI爬虫、以避免自己的内容被抓取后生成AI摘要。Cloudflare方面声称，如果最终的结果是谷歌拒绝分离爬虫，他们将考虑推动立法来强迫对方必须分离。
那么Cloudflare凭什么与谷歌谈条件呢？这是因为作为CDN提供商，他们的竞争力来源于在全球拥有超过152个数据中心构成的专用高容量光纤网络，为全球用户提供了一个低成本、乃至免费接入公开网络的能力。到目前为止，全世界有20%的互联网流量都经过了该公司的网络代理，他们也是现在全球最大规模的对等连接网络（P2P网络）之一。
活跃在Cloudflare网络上的成百上千万个网站和App就是他们的底气，但仅凭这一点就想让谷歌屈服也不现实。毕竟AI搜索是谷歌的未来，一旦AI爬虫无法抓取内容，它的市场竞争力就势必会断崖式下降。事实上，以The Information为代表的海外科技媒体也不太看好Cloudflare，他们认为Cloudflare显然无法阻止谷歌从网站上抓取数据、用于其AI产品。
再加上推动立法来强制谷歌分离AI爬虫需要动辄数年时间，即便真的等到立法完成，估计许多网站和内容创作者已经被AI厂商“赶尽杀绝”。
既然如此，为什么Cloudflare要做这种近乎于行为艺术的操作呢？答案是他们其实就是在作秀，并且从一开始就不是为了给内容创作者伸张正义，而是为了自己的Pay Per Crawl平台。
Pay Per Crawl是Cloudflare推出的一个交易市场，为内容创作者和AI厂商提供了一个撮合交易的场景。为了Pay Per Crawl，早在一年前Cloudflare就宣布，为使用其服务的网站提供AI审计工具 (Cloudflare AI Audit) ，向网站站长报告AI厂商的爬虫何时访问网站、抓取数据的IP地址、抓取频次，以及其他相关数据。
要知道一个交易平台想要成功，买卖双方的认可才是关键。可现在的情况是作为卖方的内容创作者、网站站长对于Pay Per Crawl有着迫切的需求，可买方AI厂商则不然。
在目前的条件下，一般的网站其实很难抵御AI爬虫的抓取，只能提供“软约束”的robots.txt更是已经成为废纸。同时AI直接将内容浓缩为摘要的行为，让用户根本就不需要点击原文，从而导致了网站的流量下降、广告收入锐减。
根据Cloudflare本月初发布的的最新统计数据显示，谷歌搜索的爬虫大约每6至7次抓取会给网站带回1次点击，而OpenAI的爬虫GPTBot则是1500次才能换来1 次跳转，Anthropic的爬虫ClaudeBot效率更低，达到了73300次换1次。显而易见，AI大厂与内容创作者之间基于内容创作、分发和广告/订阅收入的商业模式，已经被动摇。
可是已经习惯免费爬取内容的AI厂商即便是想付钱，显然也不愿意让Cloudflare作为中间商赚差价。事实上，为了应对AI搜索可能会给网站带来的冲击，谷歌已经推出了Offerwall工具，允许站长为网站的用户提供多种内容访问方式，诸如小额支付、参与调查、观看广告等选项都可以选择。
不同于按次付费爬取的Pay Per Crawl，Offerwall实现付费的方式是让网站直接通过向用户兜售小额支付，以获得数天的内容访问权，或者通过激励广告的形式变现。简而言之，对于AI时代的内容付费，Cloudflare选择了流量变现模式，谷歌则走的是付费订阅。
不难发现，对于用户为内容付费这件事，流量变现和付费订阅是非此即彼的关系。因为内容创作者不可能将一份内容变卖两次，选择Offerwall就意味着拒绝Pay Per Crawl。所以Cloudflare为了把Pay Per Crawl做起来，必须尽一切可能让更多人知道该他们正在为内容创作者“主持公道”。
【本文图片来自网络】
