网站索引查询：源站正常而边缘节点异常时应保留哪些证据
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e25b9d70b8c0.html
📄
网站索引查询：源站正常而边缘节点异常时应保留哪些证据
先给结论：源站正常、边缘节点异常时，最值得保留的不是“索引量掉了”这个结果，而是能证明异常发生在哪一层、持续多久、影响哪些URL的证据。具体来说，要同时留下源站响应证据、边缘节点响应证据、抓取日志证据和索引查询结果快照，四类证据能互相印证，才能把“源站没问题”和“边缘有问题”分开。
先确认你手里的对象是哪一类页面
打开你正在排查的那个URL，先判断它属于哪种类型：纯静态页、带缓存策略的动态页，还是依赖边缘规则做重写或跳转的页面。这一步决定后面要抓哪些请求头。假设你手上是一个商品详情页，源站返回200，但边缘节点返回403或502，那么问题大概率在边缘规则、缓存或回源配置上，而不是内容本身。如果边缘也返回200，但搜索引擎抓到的内容与源站不一致，那就要看缓存版本和Vary头。把页面类型写下来，再开始收集证据，能避免后面把不同层的问题混在一起。
源站侧要留的证据：证明“源站正常”不是口头判断
源站正常的证据要能复现。建议保留以下内容：
- 用
curl -I直接请求源站IP或回源域名得到的完整响应头，包括状态码、Content-Type、Cache-Control、Last-Modified。 - 同一URL连续多次请求的响应时间与状态码，用于排除源站偶发超时。
- 源站访问日志中对应时间段的记录，确认请求确实到达了源站，且源站返回了什么。
这些证据的作用是：当边缘节点返回异常时，你可以拿源站响应头与边缘响应头逐项对比。如果源站返回200且Cache-Control为max-age=3600，而边缘返回403，差异本身就指向边缘层。注意，源站正常不代表边缘一定正常，两者要分开记录。
边缘节点侧要留的证据：定位异常发生在哪一跳
边缘节点的证据重点是“可核对”。至少保留：
- 从不同地理位置或网络环境请求同一URL得到的响应头，包括状态码、Age、X-Cache、Via、Server。
- 边缘节点返回的错误页内容或错误码，以及该错误页是否被缓存。
- 边缘规则或缓存配置的当前版本快照，注明你查看的时间点。
一个实际动作是：对同一URL分别请求源站和边缘，把两组响应头并排保存。如果边缘的Age值很大而源站Cache-Control很短，说明边缘缓存了旧版本；如果边缘返回403而源站200，说明边缘规则拦截了请求。这个动作的结果会直接决定下一步：是清缓存、改规则，还是继续查回源链路。
抓取与索引证据：把“搜索引擎看到什么”固定下来
搜索引擎抓到的内容不一定等于你浏览器看到的内容。要保留：
- 搜索引擎抓取工具或日志中，该URL最近一次抓取的时间、状态码和抓取到的内容摘要。
- 网站索引查询结果中该URL的状态快照，注明查询时间。注意，索引查询显示“已收录”或“未收录”只是某一时刻的结果，不能单独证明边缘节点正常或异常。
- 如果使用了站点地图，保留站点地图中该URL的提交记录，但站点地图不保证收录，它只能作为抓取入口的参考。
这里有一个容易混淆的点：robots.txt的抓取限制不等于可靠的索引移除。如果边缘异常期间你临时用robots.txt屏蔽抓取，搜索引擎可能仍然保留旧索引，恢复后也不会立刻更新。所以robots.txt不能当作清理异常索引的手段，只能作为抓取控制的辅助证据。
用一组对比表把证据串成判断
把上面四类证据整理成一张对比表，每一行是一个URL，每一列是源站状态、边缘状态、抓取状态、索引查询状态。假设你手上有三个URL：A源站200边缘200，B源站200边缘403，C源站200边缘200但抓取内容与源站不同。那么B指向边缘规则问题，C指向缓存或内容协商问题，A则说明并非全站异常。这个对比表的作用是缩小范围，而不是证明某个结论。如果只有索引查询结果异常，而源站、边缘、抓取都正常，那更可能是索引查询工具本身的延迟或抽样差异，需要换时间点再查。
什么时候可以停止收集，什么时候要继续
当你已经能回答“异常发生在边缘层，影响哪类URL，持续了多长时间”这三个问题时，可以进入修复和验证阶段。修复动作比如调整边缘缓存规则或回源配置，执行后要重新采集同一组URL的源站和边缘响应头，与修复前的快照对比。如果边缘状态码恢复200但索引查询结果未变，不要立刻断定修复无效，索引更新有延迟，需要按固定时间间隔复查。反过来，如果源站和边缘都正常，但抓取日志显示搜索引擎持续收到异常内容，那说明还有未覆盖的节点或缓存层级，要继续收集。证据的价值在于让每一步判断都有可核对的依据，而不是靠单一指标归零或恢复来下结论。
