WEB FUNDAMENTALS
保留首版资料与链接。原始来源与工具使用边界见各篇说明。
按抓取权限、响应状态、noindex、canonical 和页面价值的顺序排查未收录问题，避免把 robots.txt 当成收录开关。
通过 HTTP 响应头和 HTML 排查 X-Robots-Tag、noindex 与重定向，理解返回 200 和允许收录之间的区别。
用真实示例理解 URL 查询字符串、fragment、重复参数和百分号编码，排查链接与统计问题。