AI 爬虫怎么读你的站点

AI 系统的内容获取分两层:搜索引擎索引(AI 搜索引用其结果)与直抓(GPTBot、ClaudeBot 等直接抓取网页入库)。两层共用的基础是:内容是 HTML 文本、链接可发现、页面无需执行复杂脚本即可读。

自查与改造清单

一、准入层(10 分钟自查)

  1. robots.txt 存在且未误封核心路径;对主流 AI 爬虫(GPTBot、ClaudeBot、PerplexityBot、Bytespider 等)明确放行;
  2. sitemap.xml 完整覆盖所有可索引页面,URL 与实际可访问地址一致(注意 www/裸域、大小写、尾斜杠统一);
  3. 没有 noindex 误标(模板残留的 meta robots 是常见事故)。

二、正文层(最常见的失分点)

  1. 核心内容必须是 HTML 文本,不能是图片、PDF 或纯 JS 渲染;
  2. 表格用 table 标签而不是图片;
  3. 参数、价格、日期等关键数据以文本呈现;
  4. 每页有独立的 title、description,description 用「可被直接摘录」的一句话概括。

三、结构化数据层

  1. 文章页标注 Article(headline、datePublished、author);
  2. 产品/服务页标注 Product 或 Service(名称、描述);
  3. FAQ 内容标注 FAQPage;
  4. 组织信息标注 Organization(含 logo、联系方式)。

结构化数据不是排名魔法,它的作用是让 AI 摘录时取字段更准——标题、日期、作者拿错的文章在引用竞争里天然吃亏。

四、内链与信息架构

  1. 每个页面从首页 3 次点击内可达;
  2. 相关内容互链(文章链向对应服务页,服务页链向案例);
  3. 面包屑导航全站统一;
  4. 避免 URL 参数产生多版本重复页面,统一 canonical。

五、AI 专属层

提供 llms.txt 概述站点的核心业务与重要页面入口;关键事实(品牌定义、服务范围、联系信息)在固定页面集中呈现。

改造的验收方式

用爬虫模拟工具抓一遍核心页面,确认正文关键词可被提取;用 AI 直接问站点相关问题,看引用与表述是否准确。红盾GEO 的可见性诊断里,站点结构体检是第一环节——结构不改对,内容投得越多浪费越大。