robots.txt文件怎么写?新手必看的SEO抓取规则指南
📍 WDQWDWQD987AAAAA:216.73.216.219
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e801274692b7.html
📄
很多站长在网站上线后只关注内容和外链,却忽略了一个几KB的小文件——robots.txt。它虽然不起眼,却直接决定搜索引擎蜘蛛能抓取哪些页面、不能抓取哪些页面。配置不当,轻则收录异常,重则整站被屏蔽。本文带你系统了解robots.txt文件的写法与常见坑。
robots.txt文件是什么
robots.txt是存放在网站根目录下的纯文本协议文件,用来告诉搜索引擎蜘蛛(如百度蜘蛛、Googlebot)哪些目录或文件可以抓取,哪些应当回避。它遵循“爬虫协议”约定,属于建议性规则,并非强制安全措施。需要强调:robots.txt不能阻止页面被访问,只能约束遵守协议的爬虫,真正的访问控制应使用密码或服务器权限。
robots.txt文件的基本语法
文件由若干条记录组成,每条记录以User-agent开头,后跟Allow或Disallow规则。常用写法如下:
- User-agent: * 表示针对所有爬虫;
- Disallow: /admin/ 表示禁止抓取admin目录;
- Allow: /admin/public/ 表示在禁止目录中放行子目录;
- Sitemap: https://example.com/sitemap.xml 用于声明站点地图地址。
规则按最长匹配优先,Allow通常优先于Disallow。文件必须放在域名根目录,文件名全小写,编码建议使用UTF-8。
常见错误与优化建议
- 误写Disallow: / 导致整站被屏蔽,这是最严重的事故;
- 用robots.txt屏蔽CSS、JS文件,影响搜索引擎渲染页面;
- 把隐私页面写进robots.txt,反而暴露了敏感路径;
- 规则写完后未在百度搜索资源平台或Google Search Console中验证。
建议上线前用抓取测试工具检查规则是否生效,并定期审查robots.txt文件内容。合理的robots.txt配置能引导蜘蛛把抓取预算用在有价值的页面上,是SEO基础工作中不可忽视的一环。