学习 / Sitemap 与 robots:抓取入口的边界
Sitemap 与 robots:抓取入口的边界
robots.txt 与 sitemap.xml 的职责、常见错误、50k/50MB 上限与共享子路径的坑。
更新日期:2026-10-31 · 阅读约 5 分钟
各管什么
- robots.txt:告诉爬虫哪些路径不建议抓;不是访问控制,不是 noindex 替代品。
- sitemap.xml:列出希望被发现的 canonical URL;提交不等于收录。
常见错误
- robots 挡住 CSS/JS/图片,页面渲染被误判。
- robots 里写相对 Sitemap URL。
- sitemap 放参数页/重复页/404。
- 单文件超过 50,000 URL 或 50MB。
- 共享桶子路径没有根 sitemap,却把 404 当“站点坏了”。
检查顺序
HTTP 200 → robots 可访问 → sitemap 200 → loc 绝对 URL → 样本页面可打开 → canonical 一致。
用 robots 工具 与 sitemap 工具 做基础检查。
相关:技术 SEO 入门 · On-page SEO · 内容 SEO · 内链 · 结构化数据 · Core Web Vitals · 没有 GSC 时,SEO 数据怎么不撒谎