抓取与收录
robots.txt 允许抓取，为什么还没有收录？
按抓取权限、响应状态、noindex、canonical 和页面价值的顺序排查未收录问题，避免把 robots.txt 当成收录开关。
先把两个问题分开
“爬虫是否允许访问”和“搜索引擎是否选择收录”是两个问题。robots.txt 回答前一个问题；Allow 并不是收录指令。即使禁止抓取，搜索引擎仍可能通过外链发现一个 URL，并显示没有内容摘要的链接。
第一步：确认测的是正确的文件
robots.txt 必须位于对应协议、域名及端口的根路径。https://example.com/robots.txt 不会自动控制 https://www.example.com/。从实际目标页面的来源地址出发，检查对应文件。静态测试通过后，仍要核实线上文件能否正常获取。
第二步：用具体路径测试规则
不要只看有没有 Disallow: /。选择实际爬虫、粘贴完整规则并测试真实路径。专属 user-agent 组不会自动继承 * 组；路径区分大小写。匹配到的规则中，更具体的路径优先，同等长度时 Allow 优先。
第三步：检查页面本身
用浏览器 Network 面板检查文档 GET 响应。关注 4xx、5xx、重定向，以及 X-Robots-Tag: noindex。随后查看 HTML 中的 meta robots 与 canonical。robots.txt 如果禁止抓取，爬虫可能看不到你放在页面里的 noindex。
第四步：核对搜索平台证据
在 Google Search Console 的网址检查中查看抓取、索引状态和 Google 选择的规范网址。提交 sitemap 有助于发现 URL，但不保证抓取和收录。把发现时间、修改时间和检查结果记下来，给搜索引擎重新处理的时间。
如果技术检查全部通过
检查页面是否真正解决一个明确问题，是否与已有页面高度重复，是否有可发现的站内链接。不要通过不断复制同类页面应对未收录。没有 Search Console 证据时，应把原因记为“尚未确认”，而不是给出确定归因。
原始资料
由 AI 整理。原有工具具备自动化用例，具体站点结论仍需实际证据。