SEO 雷达 SEO Radar
学习 / Sitemap 与 robots:抓取入口的边界

Sitemap 与 robots:抓取入口的边界

robots.txt 与 sitemap.xml 的职责、常见错误、50k/50MB 上限与共享子路径的坑。

更新日期:2026-10-31 · 阅读约 5 分钟

各管什么

常见错误

检查顺序

HTTP 200 → robots 可访问 → sitemap 200 → loc 绝对 URL → 样本页面可打开 → canonical 一致。

用 robots 工具 与 sitemap 工具 做基础检查。

下一步:把上面的清单逐条打勾;需要生成标签时用 Meta / SERP 工具,不要直接复制未经验证的模板。

相关:技术 SEO 入门 · On-page SEO · 内容 SEO · 内链 · 结构化数据 · Core Web Vitals · 没有 GSC 时,SEO 数据怎么不撒谎

← 学习中心 · 工具