AI 爬虫怎么读你的站点
AI 系统的内容获取分两层:搜索引擎索引(AI 搜索引用其结果)与直抓(GPTBot、ClaudeBot 等直接抓取网页入库)。两层共用的基础是:内容是 HTML 文本、链接可发现、页面无需执行复杂脚本即可读。
自查与改造清单
一、准入层(10 分钟自查)
- robots.txt 存在且未误封核心路径;对主流 AI 爬虫(GPTBot、ClaudeBot、PerplexityBot、Bytespider 等)明确放行;
- sitemap.xml 完整覆盖所有可索引页面,URL 与实际可访问地址一致(注意 www/裸域、大小写、尾斜杠统一);
- 没有 noindex 误标(模板残留的 meta robots 是常见事故)。
二、正文层(最常见的失分点)
- 核心内容必须是 HTML 文本,不能是图片、PDF 或纯 JS 渲染;
- 表格用 table 标签而不是图片;
- 参数、价格、日期等关键数据以文本呈现;
- 每页有独立的 title、description,description 用「可被直接摘录」的一句话概括。
三、结构化数据层
- 文章页标注 Article(headline、datePublished、author);
- 产品/服务页标注 Product 或 Service(名称、描述);
- FAQ 内容标注 FAQPage;
- 组织信息标注 Organization(含 logo、联系方式)。
结构化数据不是排名魔法,它的作用是让 AI 摘录时取字段更准——标题、日期、作者拿错的文章在引用竞争里天然吃亏。
四、内链与信息架构
- 每个页面从首页 3 次点击内可达;
- 相关内容互链(文章链向对应服务页,服务页链向案例);
- 面包屑导航全站统一;
- 避免 URL 参数产生多版本重复页面,统一 canonical。
五、AI 专属层
提供 llms.txt 概述站点的核心业务与重要页面入口;关键事实(品牌定义、服务范围、联系信息)在固定页面集中呈现。
改造的验收方式
用爬虫模拟工具抓一遍核心页面,确认正文关键词可被提取;用 AI 直接问站点相关问题,看引用与表述是否准确。红盾GEO 的可见性诊断里,站点结构体检是第一环节——结构不改对,内容投得越多浪费越大。