robots.txt屏蔽AI爬虫怎么设置？训练与检索分开配，别把自己从AI搜索里删掉

一、先给结论

如果你只想要一句话：不要用Disallow: /一刀切封所有AI爬虫。

训练类和检索类用的是不同的User-Agent，可以分别控制：

用途	User-Agent	封了会怎样
模型训练	GPTBot、Google-Extended、ClaudeBot	内容不进训练语料，不影响被AI搜索引用
搜索检索	OAI-SearchBot、Claude-SearchBot、PerplexityBot	从AI搜索结果中消失

想保护版权但保留AI搜索曝光，就只封上面一行、放行下面一行。

这是一个非常重要的区别。很多企业听说"AI在爬我们的内容"，第一反应是"全部封掉"，但这样做的后果是：你的内容不仅不会被用于训练，也不会出现在AI搜索结果里。对于依赖获客的企业来说，这等于主动放弃了一个新的流量渠道。

二、三种配置写法

方案一：拒绝训练，保留检索（多数企业适用）

User-agent	规则	作用
GPTBot	Disallow: /	拒绝OpenAI训练抓取
Google-Extended	Disallow: /	拒绝Google训练抓取
ClaudeBot	Disallow: /	拒绝Anthropic训练抓取
OAI-SearchBot	Allow: /	保留ChatGPT搜索收录
PerplexityBot	Allow: /	保留Perplexity收录

写进robots.txt时，每条User-agent与其规则各占一行，两条之间空一行。

方案二：全部放行（希望最大化AI曝光）

不写任何AI爬虫规则即可，默认放行。

这种方案适合内容驱动型企业，比如媒体、知识库、教程网站。你的内容被AI引用越多，品牌曝光越大，获客机会也越多。

方案三：全部拒绝

对所有User-agent（*）设Disallow: /。这就是Reddit在2026年8月的做法，后果见下一节。

这种方案只适合完全不希望内容被AI使用的企业，比如有严格版权要求的付费内容平台。但要注意：全部拒绝意味着你也放弃了AI搜索的流量。

三、配错的代价：一个可量化的案例

2026年8月20日前后，Reddit在robots.txt中加入了全域disallow。

GEO分析机构基于各大AI平台实时界面采集、累计超过260亿条引用与提示词的监测数据显示：

时间窗口	引用份额
7月18日–8月7日	3.83%
8月14日–17日	0.52%
相对降幅	86.4%

曲线形态是单日断崖而非渐进下滑——这与域名级封锁的预期一致：爬虫要么有权限，要么没有，没有中间状态。

这个案例给所有企业的警示是：robots.txt里的一行配置，能在单日内改变一个平台在AI搜索中86%的引用份额。配置之前一定要想清楚后果。

四、不同平台的反应差异很大

同一时间窗口内：

平台	降幅	曲线形态
ChatGPT Search	−86.4%	单日断崖
Google AI Mode	−30.5%	渐进下降
Google AI Overviews	−11.3%	缓慢漂移

Google系受影响明显更小。一个合理推测是双方之间的内容授权协议提供了缓冲——Reddit与Google在2024年达成的协议价值每年6000万美元，目前正在续约谈判中。

这意味着：同一份内容能否被AI引用，正在部分取决于平台与AI厂商的商业关系，而不完全取决于内容质量。这是一个需要企业关注的新变量。

五、补位的是第一方内容，不是其他论坛

2026年8月19日的一项分析给出了更有信息量的观察：在ChatGPT中填补Reddit空缺的，不是其他社区平台，而是厂商技术文档、产品帮助中心，以及长期维护自有内容的品牌官方域名。

对照此前的趋势——2026年3月的报告显示，2025年10月至2026年1月间Reddit在其追踪的全部九个商业品类中引用份额至少增长73%，Perplexity的全部引用中24%来自Reddit——这次变化的方向是从论坛讨论帖转向权威、直接的答案来源。

这个趋势对企业的启示是：AI搜索正在从"引用论坛讨论"转向"引用权威内容"。企业应该重视自有内容的建设，尤其是技术文档、帮助中心、产品说明这类结构化、权威性强的内容。

六、自查清单

配置完robots.txt之后，用这四步确认它真的按预期工作：

第一步，拉取线上文件：curl https://你的域名/robots.txt，确认内容是你以为的那份。

第二步，分清两类UA：检索类（OAI-SearchBot、PerplexityBot）有没有被User-agent: *的通配规则误伤。

第三步，查服务器日志：过去14天有哪些AI爬虫真的来过、抓了哪些页。

第四步，验IP，别只看UA：AI爬虫UA伪造非常普遍。我们在自己站上的实测是，按UA统计的GPTBot请求里只有约1%来自OpenAI官方IP段；ChatGPT-User约31%、OAI-SearchBot约37%。不验IP会把扫描器当成AI爬虫，得出完全相反的结论。

官方IP段可从这几个地址取：

• https://openai.com/chatgpt-user.json
• https://openai.com/searchbot.json
• https://openai.com/gptbot.json

第四步尤其重要。很多企业看服务器日志，发现"GPTBot来了很多次"，就以为自己的内容被OpenAI大量抓取，但实际上99%可能是伪造的扫描器。

七、屏蔽AI爬虫合规吗？robots.txt的法律效力

这是搜索里出现频率不低、但很少被正面回答的问题。三点需要分清：

一、robots.txt不是技术强制，是声明。 它依赖爬虫方自愿遵守。主流厂商（OpenAI、Google、Anthropic）公开承诺遵守，但不遵守的爬虫在技术上完全可以无视它——这也是为什么单靠robots.txt挡不住恶意抓取，真要拦截需要在服务器层按IP或UA做规则。

二、拒绝抓取和主张权利是两件事。 在robots.txt里写Disallow表达的是"我不希望你抓"，它本身不构成授权协议，也不等同于版权声明。若要对内容使用主张权利，需要独立的版权声明与服务条款，robots.txt只是意愿的技术表达。

三、封了不等于内容会从模型里消失。 已经进入模型参数的历史内容不受robots.txt变更影响，受影响的只有增量内容的实时检索可见性。这一点在评估"封锁能挽回什么"时经常被高估。

对企业而言更务实的顺序是：先明确内容资产的边界（哪些愿意被训练、哪些只愿被检索、哪些完全不公开），再落到robots.txt的具体配置，而不是反过来先封了再想。

八、两个容易忽略的事实

一、封锁不影响已经进入模型参数的历史内容。 robots.txt变更影响的是增量内容的实时检索可见性，不会让模型"忘掉"已训练的部分。如果你希望历史内容也不被使用，需要通过法律途径或与AI厂商直接沟通，robots.txt做不到这一点。

二、Reddit这次封锁发生在续约谈判期间，性质更接近谈判筹码而非永久决策。 若达成新条款，数据通道存在恢复的可能。这提醒我们：robots.txt的配置不是一成不变的，需要根据商业谈判和策略调整动态更新。

九、结论

robots.txt里的一行配置，能在单日内改变一个平台在AI搜索中86%的引用份额。

对绝大多数企业而言，正确的做法不是二选一，而是分开配：拒绝训练抓取以保护内容资产，同时保留检索抓取以维持AI搜索可见性。配完之后按上面的自查清单验一遍，尤其是第4步的IP校验——只看UA得到的数字，有可能九成以上是假的。