01 / robots.txt
robots.txt 规则测试
这个路径，爬虫到底能不能访问？粘贴规则，找到真正生效的那一行。
输入本地处理无需注册免费使用
检查结果
把线索放进左侧，
我们一起看看问题在哪。
使用边界
这是粘贴规则的静态测试，采用 Google 常见匹配规则；不抓取线上 robots.txt，也不检查文件状态码、缓存、重定向或真实收录状态。其他爬虫可能有不同实现。
阅读原始文档 ↗为什么放开了 robots.txt，网页还是没有收录？
robots.txt 只控制抓取，不承诺收录。放开之后，还要检查页面是否返回 200、是否存在 noindex、canonical 是否指向其他页面，以及页面本身是否有独立价值。
读完整排障手记 ↗这次检查对你有帮助吗？