10 月 30 日，Anthropic 负责标准工作的技术主管 Kevin Kelley 在 IETF 的 AI 偏好工作组邮件列表里贴出一份新草案。草案的核心只有两行：在 robots.txt 里写一组 User-Agent: __usage_ai-training，下面跟一行 Disallow: /，意思是“这个网站不希望被用来训练生成式 AI 模型”。同一天，Google、Microsoft 和 OpenAI 各自发文，说会支持这个写法。
对站长来说，这省掉了一件苦差事。OpenAI 在公告里说，过去网站运营者要“识别每一个爬虫，并为每家提供商分别维护规则”。有了共用的标记，一处声明就能传给所有参与的公司。
但四家公司对齐的只是“训练”这一个词。站长更在意的那一半，也就是自己的内容会不会出现在 AI 的回答里、能不能带来点击，仍然由各家自己定。按两家公司已经公布的规则，同样两行字，在 Microsoft 只影响训练；在 Google，还会连带影响 Gemini 应用里的引用和点击。统一的是退出的写法，退出之后的后果并不统一。
同一行字，两种后果
Google 的公告写明：网站用新标记拒绝训练、又没有单独写 Google-Extended 规则时，Google 会把它当作网站禁止了 Google-Extended。而按 Google 爬虫文档的说法，Google-Extended 管的不只是训练。它决定网站内容能否用于训练 Gemini 模型，也决定能否在 Gemini 应用和 Vertex AI 的 Grounding with Google Search 里用于 grounding，也就是回答问题时实时调取网页内容作依据。Google 在公告里补了一句：明确允许 Google-Extended 的网站，才有资格通过 grounding 出现在 Gemini 应用的回答里并获得点击。
所以一个只想拒绝训练的小网站，如果在 Google 那里只写了这两行，按 Google 自己的文档，它在 Gemini 应用里也会失去被引用的资格。要保住那部分曝光，就得另外写一条允许 Google-Extended 的规则，而这条规则同时也放开了训练。Google 搜索里的 AI 概览和 AI 模式又是另一套开关，在 Search Console 里设置，Google 的帮助文档写明它“不影响 AI 训练”。
Microsoft 的做法正好相反，把训练和 grounding 拆得更开。Bing 首席产品经理 Krishna Madhavan 的文章说，新的共用标记只管训练；Microsoft 另外推出一个只能逐页设置的 AI Grounding 偏好，有三档：允许、禁止，以及新的 DisallowExtended，只允许内容出现在 Copilot、Microsoft 365 等 Microsoft 自己的产品里，不提供给 Web IQ 和 Foundry 的 grounding API 等第三方服务。网站级的 robots.txt 里没有 grounding 设置。
默认值和截止日期
两套规则有一点相同：不写就是允许。草案明确规定，User-Agent: * 这类通配规则不算表达偏好。Kelley 在邮件里说，这是有意的设计，因此不使用这个机制的 robots.txt，“也就是今天已发布的每一个文件”，都没有表达任何偏好。Microsoft 的文章也写明，训练和 grounding 在没有设置时都默认允许。
这个设计照顾了大多数站点：本来就愿意被收录的网站什么都不用改，旧的爬虫规则也照常有效。代价是，想退出的一方要自己动手，而且要分别弄清每家公司的后果。
Microsoft 这边还有一个时间表。它从 2027 年 2 月 1 日起按新偏好抓取。过去用 NoArchive、NoCache 标签限制 AI 用途的网站，要在 2027 年 3 月 1 日前在页面上写好新的 grounding 偏好，并在 Bing Webmaster Tools 里登记一个临时设置；否则这些页面在被重新抓取之前，grounding 一项会回到默认允许。3 月 1 日之后，NoArchive 和 NoCache 不再被当作训练或 grounding 偏好读取。
退出不等于不被抓
草案还写了一条容易被忽略的边界：这个标记管的是内容怎么用，不管能不能抓。Kelley 在邮件里说，两者“有意分开”，爬虫是否抓取仍由针对它自己名字的规则决定，草案只是请爬虫不要抓它用不上的内容。Microsoft 的文章也说，这些设置约束内容用途，不约束抓取，而且新设置要等爬虫重新抓到页面才生效。
进度也不一致。Kelley 说 Anthropic 已经开始实现，但覆盖到所有服务还需要时间。OpenAI 说会在“未来几个月”实现。Google 的公告写的是 2027 年，Microsoft 是 2027 年 2 月 1 日。据 The Verge 报道，Meta 表示支持建立共同信号，但没有说自己会不会遵守。草案本身是一份个人提交的 Internet-Draft，Datatracker 页面写明它未经 IETF 认可，在标准流程中没有正式地位，2027 年 5 月 3 日到期。
另一条路：关门
就在这些公告的前一天，Reddit 在三季度财报会上宣布，将逐步转向以登录为主的使用方式。TechCrunch 报道，这么做的目的之一是保护数据不被 AI 抓取，好去谈授权交易。Reddit 称 10 月平均每周来自搜索的引荐流量减少了超过 100 万次；包含 AI 数据授权在内的非广告收入同比增长 35%，达到 4800 万美元。CEO Steve Huffman 写道，作为一个被开放互联网塑造的人，这对他是很大的变化，但他认为这是对平台和业务都正确的决定。
Reddit 有体量把内容锁起来再谈价格。大多数独立博客、开源项目文档站和小团队的产品网站没有这个条件，它们能用的工具就是 robots.txt。从这个角度看，统一的训练标记确实降低了表态成本。
可小网站要做的决定，往往不是简单的“要不要被训练”，而是“能不能只被引用、不被训练”。在 Microsoft，这个组合可以逐页设置；在 Google 的 Gemini 应用，按现有文档，两者仍然绑在 Google-Extended 一个开关上。Microsoft 的文章自己也提醒，无论怎么选，都“不保证被收录、带来流量或获得付费”。
工作组接下来还要讨论训练以外的用途怎么定义。在那之前，这两行 robots.txt 能统一的只是“训练”这一个词。站长按下退出键之前，还得一家一家去查文档。