robots.txt 是位于网站根目录的一个文本文件，用来告诉搜索引擎爬虫：本站哪些路径允许抓取、哪些禁止。它是爬虫访问前的"第一道门"。一、基本写法用 "User-agent:" 指定爬虫（* 表示全部），"Disallow:" 表示禁止路径，"Allow:" 表示允许，"Sitemap:" 给出地图地址。例如 Disallow: /admin/ 可禁止抓
robots.txt 是位于网站根目录的一个文本文件，用来告诉搜索引擎爬虫：本站哪些路径允许抓取、哪些禁止。它是爬虫访问前的"第一道门"。
一、基本写法
用 "User-agent:" 指定爬虫（* 表示全部），"Disallow:" 表示禁止路径，"Allow:" 表示允许，"Sitemap:" 给出地图地址。例如 Disallow: /admin/ 可禁止抓取后台。
二、AI 搜索的关键动作
务必确认 GPTBot、ClaudeBot、PerplexityBot、Google-Extended、Bytespider、360Spider、YisouSpider、Sogou 等主流 AI 爬虫未被 Disallow，否则对应 AI 平台根本读不到你。本站的 robots.txt 已为这些爬虫放行。
相关词条：llms.txt、AI 爬虫、站点地图、索引
