robots.txt文件怎么写?新手必看的SEO抓取规则指南

📍 WDQWDWQD987AAAAA:216.73.216.219
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e801274692b7.html
📄

很多站长在网站上线后只关注内容和外链,却忽略了一个几KB的小文件——robots.txt。它虽然不起眼,却直接决定搜索引擎蜘蛛能抓取哪些页面、不能抓取哪些页面。配置不当,轻则收录异常,重则整站被屏蔽。本文带你系统了解robots.txt文件的写法与常见坑。

robots.txt文件是什么

robots.txt是存放在网站根目录下的纯文本协议文件,用来告诉搜索引擎蜘蛛(如百度蜘蛛、Googlebot)哪些目录或文件可以抓取,哪些应当回避。它遵循“爬虫协议”约定,属于建议性规则,并非强制安全措施。需要强调:robots.txt不能阻止页面被访问,只能约束遵守协议的爬虫,真正的访问控制应使用密码或服务器权限。

robots.txt文件的基本语法

文件由若干条记录组成,每条记录以User-agent开头,后跟Allow或Disallow规则。常用写法如下:

规则按最长匹配优先,Allow通常优先于Disallow。文件必须放在域名根目录,文件名全小写,编码建议使用UTF-8。

常见错误与优化建议

  1. 误写Disallow: / 导致整站被屏蔽,这是最严重的事故;
  2. 用robots.txt屏蔽CSS、JS文件,影响搜索引擎渲染页面;
  3. 把隐私页面写进robots.txt,反而暴露了敏感路径;
  4. 规则写完后未在百度搜索资源平台或Google Search Console中验证。

建议上线前用抓取测试工具检查规则是否生效,并定期审查robots.txt文件内容。合理的robots.txt配置能引导蜘蛛把抓取预算用在有价值的页面上,是SEO基础工作中不可忽视的一环。

图1 图2

nginx