远见网一、Cloudflare发了一篇博客
7月1日，Cloudflare发了一篇博客，标题很温和，叫「你的网站，你的规则」。
但内容一点也不温和——从9月15日起，所有使用Cloudflare的网站，默认屏蔽混合用途的AI爬虫。
只要你的页面上有广告，AI的训练爬虫和Agent爬虫就进不来。除非你自己去后台手动打开。
1、这个里程碑比所有人预期的都来得早
注意这个逻辑翻转：以前是「默认允许，你可以选择屏蔽」，现在是「默认屏蔽，你可以选择允许」。
这是互联网基础设施层，第一次对AI数据获取方式进行系统性「立法」。
做出这个决定的背景是一个标志性的事件，互联网上的bot流量，已经超过了人类流量。
Cloudflare CEO Matthew Prince说，这个里程碑比所有人预期的都来得早，原本预计要到2027年才会发生。
二、今天你打开的大多数网页
1、今天你打开的大多数网页
换句话说，今天你打开的大多数网页，「看」它们的主要不是人，而是机器。
而如何规范来自AI的流量，既有可能决定了所有网站的未来，也决定了网络守门人Cloudflare自己的发展轨迹。
根据官方介绍，Cloudflare把AI爬虫拆成了三类。
第一类叫「Search」，就是为服务建索引的传统爬虫，Google干了二十多年的那种。
第二类叫「Agent」，是实时代用户去访问网页的AI代理，比如你让ChatGPT帮你查个信息、填个表单，它背后就有一个Agent爬虫在替你跑腿。
第三类叫「Training」，就是大规模抓取内容用于模型训练的爬虫。
2、你想让引擎找到你
三类分开标注。网站主可以分别对每一类设置「允许」或「屏蔽」。你想让引擎找到你？可以。
你想让AI代理帮你的用户查信息？也可以。但你不想让AI公司白嫖你的内容去训练模型？
那你可以单独把Training关掉。
Google的Googlebot是一个典型的「混合爬虫」——它同时为Google建索引，也为Google的AI功能（比如AI Overviews）采集数据。
Google确实提供了一个叫Google-Extended的工具，允许网站选退AI训练。
但问题在于，Googlebot这个核心爬虫本身，依然会同时为引擎内置的AI功能收集数据。
和AI的数据需求，在Google的架构里就没有被真正分开过。
三、屏蔽AI爬虫可能意味着减少被发现的机会
1、Cloudflare的数据说得很清楚
这意味着什么？
Cloudflare的数据说得很清楚：因为网站想保持在Google中的可见性，就不得不让Googlebot进来，而Googlebot进来了，AI训练的数据也就一并拿走了。
Google因此获得了大约两倍于其他AI公司的网页内容访问量。
Cloudflare这次还加了一条「最严规则优先」的原则。
如果一个爬虫同时执行和训练两个功能，那所有适用的规则会同时生效——按最严格的那个来。
也就是说，你只要选择屏蔽Training爬虫，Googlebot、Applebot、BingBot这些混合爬虫，统统会被一并屏蔽。
这刀砍的是「捆绑」——你想被到，就得接受被AI训练。Cloudflare说，这个捆绑不公平，必须拆开。
一组数据可以说明旧「社会契约」崩坏到了什么程度。
Cloudflare公布了各家AI公司的爬取与回流比：Google大约是14:1——每爬取14个页面，回流1次点击。
OpenAI是1,700:1。Anthropic是73,000:1。
引擎时代的交易是「我爬你的内容，你得到流量」。在AI时代，这笔账已经算不过来了。
如果Cloudflare只是帮网站主挡住AI爬虫，那这件事的意义就止于「防御」。但Cloudflare显然不满足于只当保安。
去年7月，Cloudflare推出了「Pay Per Crawl」——按爬取次数向AI公司收费。
今年，它把这个模式升级为「Pay Per Use」。
区别在于，不再是爬虫每来一次你收一次钱，而是当你的内容在AI系统中真正产生了价值，被用于生成一个回答、出现在一个AI结果里，用户才能收到钱。
从「按次收费」到「按价值收费」，这个转变的野心不小。它意味着Cloudflare想建立的不是一道墙，而是一个市场。
目前的初始合作伙伴是两家AI公司Ceramic.ai和You.com。
当出版商选择加入后，他们的内容出现在Ceramic的AI结果中，或被You.com的Agent访问时，出版商会收到付款。
大出版商们纷纷站台——Condé Nast的CEO说这是「游戏规则的改变」，Reddit的联合创始人说「整个生态系统都会受益」。
听起来像是一个完美的故事。但我觉得有必要说一个不那么完美的细节。
今年3月，Cloudflare自己发布了一个爬虫API。
你给它一个URL，它能一次性抓取整个网站，返回HTML、Markdown或结构化JSON。
这让一些出版商相当不安——那个一直帮我挡爬虫的公司，怎么自己造了一个爬虫？
更尴尬的是，有出版商尝试屏蔽Cloudflare自己的爬虫时发现，设置不生效。
虽然Cloudflare后来修复了这个问题，但互联网上的已经传开了——「我们保护网站不被爬虫抓取……除非是我们自己的爬虫。
」
如果站长选择屏蔽AI爬虫，Cloudflare自己的爬虫也会被挡在门外。
这就引出了一个根本性的问题：Cloudflare到底是一个中立的基础设施裁判，还是一个新型的中间商？
它同时扮演着规则制定者（定义三类爬虫）、规则执行者（在基础设施层拦截爬虫）和市场参与者（运营自己的爬虫和内容交易平台）三个角色。
Condé Nast、Dotdash Meredith、Reddit——站出来支持Cloudflare的，都是大型出版商和平台。
它们有内容规模，有法务团队，有谈判筹码。
这些公司不需要Cloudflare也能跟AI公司签许可协议——事实上，过去一年全球已经签了超过50份内容许可大单。
Cloudflare对它们来说，是多了一个工具，不是唯一的出路。
但个人博主呢？一个在WordPress上写技术教程的独立开发者呢？一个用公众号写深度分析的自媒体人呢？
理论上，Cloudflare的基础设施，可以让小内容主无需逐一跟每家AI公司谈判，就能设定权限和获得补偿。
但「理论上」三个字是关键。
Pay Per Use到现在只有Ceramic.ai和You.com两个合作伙伴，都是小玩家。
OpenAI、Google、Anthropic这些真正在大规模消耗内容的公司没有一个上桌。
而且有一个更现实的矛盾：对小创作者来说，曝光本身就是最稀缺的资源。
大媒体屏蔽爬虫，Google还是会收录它们；小博客屏蔽爬虫，可能就真的消失在互联网的噪音里了。
AI聊天机器人带来的引荐流量比传统少大约96%。用户在AI回答中点击引用来源的概率，只有大约1%。
出版商在过去一年因为AI功能损失了20% 到90% 不等的流量和收入。
一项研究发现，Google的AI Overviews让外链点击量下降了大约40%。
四、即使Pay Per Use全面铺开
1、即使Pay Per Use全面铺开
这意味着，即使Pay Per Use全面铺开，付费规模也可能远远不够弥补出版商已经失去的广告收入。
这不是一场变局，更像是一次止损——而且未必能止住。
Cloudflare报告说，50% 以上的AI爬虫流量花在重复抓取未更新的页面上。解决这种低效确实有价值。
但解决效率问题和让创作者真正赚到钱，是两件事。
Cloudflare管理着全球大约20% 的网络流量，这个数字既大又不够大。
2、80% 的网站不在它的保护范围内
另外80% 的网站不在它的保护范围内。AI公司完全可以把数据采集的重心转向非Cloudflare站点。
Google和Apple的爬虫已经提供了形式上的选退工具，可能借此绕过Cloudflare的拦截。
英国竞争与市场管理局（CMA）正在从监管角度向Google施压，要求它让出版商能在不影响排名的前提下退出AI训练。
一个基础设施公司的政策，不会让这场内容权益的重新分配尘埃落定。
过去二十年，Google是那个站在路中间决定谁能被看见的人。
现在Cloudflare想在更底层的位置拦一道——你要过路，先说清楚你是来干什么的，然后按规矩来。
