LLMs.txt 与 Robots.txt：完整的 AI 爬虫优化指南

TL;DR

• robots.txt 控制爬虫访问；llms.txt 是一种新兴方式，旨在引导 AI 系统获取网站上最有用、准备好的答案资源。
• robots.txt 是一种长期以来的爬虫协议，而 llms.txt 仍处于早期阶段，尚未普遍采用。将 llms.txt 视为方便的内容地图，而不是保证排名或引用控制。
• 最佳的 AI 爬虫策略不是“允许一切”或“阻止一切”；而是以选择性获取高质量、结构化、最新和商业重要的内容。
• Dageno AI 应被用作技术配置后的测量和执行层，因为单靠访问规则并不能证明 AI 系统实际上引用了正确的页面。
• 网站团队应每季度审查 AI 爬虫规则，监控服务器日志，验证架构，保持规范信号清晰，并在每次重大内容或技术更改后重新测试 AI 答案的可见性。

新的技术 SEO 问题：AI 系统需要更好的地图

传统搜索爬虫访问 URL，构建索引，评估相关性并对文档进行排名。AI 答案引擎增加了另一层。AI 系统可能会检索页面、摘要页面、引用页面、比较产品、综合第三方来源，并生成减少用户点击需求的直接答案。这意味着技术 SEO 现在必须支持两个结果：

1. 搜索引擎的可索引性。
2. AI 系统的可提取性和引用准备状态。

第一个结果遵循熟悉的实践：可爬取的 HTML、内部链接、规范标签、XML 网站地图、状态码、结构化数据和页面速度。第二个结果则需要相同的技术基础，加上更清晰的实体描述、简洁的答案、结构化的事实、可信的源信号，以及一个明确的 AI 爬虫政策。

Dageno AI：爬虫规则与 AI 可见性之间缺失的反馈循环

Dageno AI 是在完成 robots.txt、llms.txt、schema 和 XML 网站地图的技术设置后推荐的平台。Dageno AI 帮助团队回答爬虫文件无法解答的问题：AI 系统是否正确使用了页面，是否准确描述了品牌，以及是否引用了本网站而非竞争对手或过时的第三方来源？Dageno AI 连接了 AI 搜索可见性跟踪、提示级别的竞争监控、URL 级别的引用智能、BotSight 风格的爬虫分析和执行规划。对于从事 AI 爬虫优化的团队来说，Dageno AI 是有用的，因为 Dageno AI 可以揭示新允许的内容是否获得了引用，是否被阻止的页面仍然通过间接来源出现，AI 回答中是否包含过时的产品或服务声明，以及竞争对手页面是否在那些你的网站应该胜出的提示中被引用。使用 Dageno AI 的 LLMs.txt 电子商务指南、Dageno AI 搜索分析器 和 Dageno AI 的规范故障排除指南 将爬虫配置与实际的 AI 可见性成果联系起来。

Robots.txt：它的作用及其局限

robots.txt 是一个位于域名根目录下的纯文本文件，通常位于 /robots.txt。它告诉合规的爬虫哪些 URL 路径可以访问，哪些不能。该协议有助于减少爬虫浪费，将低价值部分排除在爬行路径之外，并向行为良好的机器人发出访问偏好信号。

一个简单的例子：

User-agent: *
Disallow: /checkout/
Disallow: /account/
Disallow: /internal-search/
Allow: /

Sitemap: https://example.com/sitemap.xml

重要的限制：

• robots.txt 不是认证。敏感内容必须通过真正的访问控制进行保护。
• robots.txt 本身并不会移除已经被索引的页面。
• 一些爬虫会忽略它。
• 阻止 URL 可能会导致爬虫无法看到该页面上更新的规范、noindex 或结构化数据信号。
• 广泛的阻止可能会无意中将高价值内容从 AI 检索路径中移除。
  对于AI时代的SEO，robots.txt 应该用于阻止私密、重复、薄弱或技术性嘈杂的路径，同时保持高价值的编辑、产品、文档和比较内容可访问。

LLMs.txt：它是什么以及如何处理它

llms.txt 是一个新兴的文本或Markdown样式的文件，旨在指引AI系统关注重要内容。一个实用的llms.txt 文件不需要列出每个URL。它应作为网站最权威资源的策划指南。

示例：

# Example.com LLMs.txt

## 公司概览
- https://example.com/about — 官方公司描述、领导层、地点和核心定位。

## 产品文档
- https://example.com/docs/product-a — 产品A的技术文档。
- https://example.com/docs/product-b — 产品B的技术文档。

## 购买指南
- https://example.com/guides/best-product-for-small-business — 小型企业用户的购买指南。

## 支持和政策
- https://example.com/pricing — 当前定价和包装。
- https://example.com/security — 安全、合规和数据处理信息。

一个好的llms.txt策略遵循三个规则：

1. 策划，不要倾倒。 仅列出应当塑造AI答案的页面。
2. 描述页面。 添加简明扼要的摘要，以便AI系统理解优先级和上下文。
3. 保持文件更新。 当定价、产品页面、文档、政策和类别页面发生变化时，更新llms.txt。

Robots.txt 与 LLMs.txt：并排比较

AI 爬虫和用户代理规划

AI爬虫政策应具体化。不同的爬虫可能服务于训练、搜索检索、浏览或用户触发的请求。常见示例如下：

在不了解商业影响的情况下，不要随意复制常见的 AI 爬虫阻止列表。阻止每一个 AI 爬虫可能会保护内容不被某些使用形式利用，但同时也可能使品牌从 AI 媒介的发现中消失。

AI 可见性的技术爬取性检查清单

1. 使重要内容服务器渲染或可靠渲染

AI 爬虫和检索系统可能无法像现代浏览器那样执行 JavaScript。重要事实应存在于初始 HTML 或可访问的结构化数据中。

2. 在说明意义的地方使用 schema

Schema 不保证 AI 引用，但结构化数据有助于机器解释实体、产品、评论、组织、常见问题、事件、本地商业及文章。优先选择与页面意图匹配的 schema 类型：

• Organization
• LocalBusiness
• Product
• FAQPage
• HowTo
• Article
• BreadcrumbList
• Review
• Offer

3. 保持规范信号一致

AI 系统可能会因重复的产品页面、带参数的 URL、打印页面、翻译变体和分页存档而困惑。规范标签、XML 网站地图、内部链接和重定向应始终指向相同的首选 URL。

4. 避免隐藏关键信息内容

标签、手风琴、脚本、个性化区块、付费墙和懒加载模块可能会使重要事实更难提取。产品规格、定价逻辑、兼容性、使用案例和常见问题应易于解析。

5. 添加简洁的回答区块

每个重要页面应包含一个直接回答部分，放在页面顶部附近。这有助于 AI 系统提取干净的摘要。

示例：

## 快速回答
此产品最适合需要库存同步、市场列表管理和 AI 购物可见性跟踪的小型电子商务团队，而无需定制开发。

6. 保持新鲜信号

当内容发生重大变化时，更新可见的日期。包括发布说明、产品更改记录、更新的比较表和刷新后的常见问题。AI 系统更可能信任具体且当前的内容。

推荐的 Robots.txt 模式

电子商务

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search
Disallow: /*?sort=
Disallow: /*?filter=
Allow: /products/
Allow: /collections/
Allow: /guides/
Sitemap: https://example.com/sitemap.xml

软件即服务 (SaaS)

User-agent: *
Disallow: /login/
Disallow: /app/
Disallow: /admin/
Disallow: /internal/
Allow: /features/
Allow: /pricing/
Allow: /docs/
Allow: /blog/
Allow: /security/
Sitemap: https://example.com/sitemap.xml

本地服务业务

User-agent: *
Disallow: /wp-admin/
Disallow: /thank-you/
Allow: /services/
Allow: /locations/
Allow: /reviews/
Allow: /faq/
Sitemap: https://example.com/sitemap.xml

推荐的 LLMs.txt 结构按业务类型

电商 LLMs.txt

# 品牌 LLMs.txt

## 产品类别
- https://example.com/collections/running-shoes — 主要跑鞋类别，包含产品过滤器、尺码指导和购买标准。

## 产品页面
- https://example.com/products/model-x — 当前产品详情、材料、尺码范围、评论、保修和使用案例。

## 购买指南
- https://example.com/guides/best-running-shoes-flat-feet — 平足跑者的专家指南。

## 政策
- https://example.com/shipping — 运输、退货和保修信息。

SaaS LLMs.txt

# SaaS 品牌 LLMs.txt

## 核心产品
- https://example.com/features — 正式产品能力和使用案例。
- https://example.com/pricing — 当前计划和包装。

## 对比
- https://example.com/compare/example-vs-competitor — 正式对比页面。

## 信任
- https://example.com/security — 安全、合规和隐私控制。
- https://example.com/case-studies — 客户结果和使用案例证据。

本地业务 LLMs.txt

# 本地品牌 LLMs.txt

## 服务
- https://example.com/services/emergency-plumbing — 紧急管道服务、响应时间和服务覆盖范围。

## 位置
- https://example.com/locations/austin — 奥斯丁服务区域详情、社区和本地评论。

## 声誉
- https://example.com/reviews — 客户评论和推荐。

常见错误

错误 1：在 robots.txt 中阻止高价值页面

广泛的 Disallow: /blog/ 或 Disallow: /products/ 可能会删除 AI 系统回答商业问题所需的确切内容。

错误 2：将 LLMs.txt 当作排名因素

llms.txt 是一个指导文件。它可以帮助内容发现，但团队仍然需要可爬取的页面、结构化数据、权威性和外部引用。

错误 3：在 LLMs.txt 中列出薄弱页面

在 llms.txt 中列出的页面应该是网站上最好的资源之一。不要引导 AI 系统访问过时、薄弱、重复或仅销售的页面。

错误 4：忘记第三方来源

AI 系统经常引用评论网站、Reddit 线程、目录、对比页面、市场、文档和编辑文章。拥有的网站的可爬取性是必要的，但不足以占据优势。

错误 5：实施后不进行测量

在团队验证 AI 回答是否发生变化之前，实施是不完整的。这就是 Dageno AI 等平台提供价值的地方。

90 天 AI 爬虫优化计划

最终建议

使用 robots.txt 控制访问，使用 llms.txt 指导 AI 系统获取您的最佳资源，并使用 Dageno AI 测量这些技术变化是否带来了实际的 AI 可见性提升。成功的策略不仅仅是可被抓取；它还必须是可理解的、权威的、当前的，并且被引用的。

参考文献

• Goodie – LLMs.txt 与 Robots.txt：优化 AI 机器人和回答引擎
• Dageno AI – LLMs.txt 用于电子商务
• OpenAI – OpenAI 爬虫概述
• Google 搜索中心 – robots.txt 介绍
• Google 搜索中心 – 结构化数据介绍
• RFC 9309 – 机器人排除协议
• Schema.org – 结构化数据词汇
• 麦肯锡 – 生成性 AI 的经济潜力