响应与缓存
页面返回 200，却被 noindex 拦住了
通过 HTTP 响应头和 HTML 排查 X-Robots-Tag、noindex 与重定向，理解返回 200 和允许收录之间的区别。
200 只说明请求成功
HTTP 200 表示这次 HTTP 请求成功，不说明搜索引擎一定收录页面。页面仍可能在响应头或 HTML 中明确要求不收录，也可能被选为其他页面的重复版本。
从真实的文档请求开始
打开开发者工具 Network，刷新页面并选择类型为 document 的主请求。不要误把图片或脚本的响应头当成网页。复制 Response Headers，留意 X-Robots-Tag、Location、Cache-Control。curl -I 使用 HEAD 请求，与 GET 可能不同。
找到 noindex，再追溯来源
X-Robots-Tag: noindex 可作用于非 HTML 资源，也可能由应用、中间代理或 Web 服务器配置添加。HTML 的 <meta name="robots" content="noindex"> 需要在页面源代码中另行检查。工具只分析粘贴的响应头，不会替你检查 HTML。
不要用禁止抓取去撤销 noindex
搜索引擎需要抓取页面才能读到 noindex；如果你同时禁止抓取，它就可能无法发现指令变化。对于需要保密的页面，使用身份验证，而不是把 robots.txt 当成访问控制。
修改之后保留验证记录
修改真正生成指令的配置，必要时清理缓存，再检查最终 GET 响应和 HTML。记录修改前后响应、发布日期以及 Search Console 后续结果。重新提交索引请求不代表会立即收录。
原始资料
由 AI 整理。原有工具具备自动化用例，具体站点结论仍需实际证据。