robots.txt 详细介绍

简介

robots.txt 是一个纯文本文件，网站管理员可以通过它告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

位置和格式

• robots.txt 必须位于网站根目录下。
• 文件名必须为 robots.txt，且大小写敏感。
• 文件内容由若干条指令组成，每条指令由一个字段名和一个参数组成，字段名和参数之间用冒号隔开。

主要字段

• User-agent: 指示该指令适用于哪些搜索引擎。
• Disallow: 指示搜索引擎不要抓取的页面或目录。
• Allow: 指示搜索引擎可以抓取的页面或目录。
• Sitemap: 指示搜索引擎网站地图的位置。

示例

User-agent: *
Disallow: /admin/
Disallow: /images/
Allow: /
Sitemap: https://www.8t.lv/sitemap.xml

注意事项

• robots.txt 只是一个建议，搜索引擎可以不遵守。
• robots.txt 可能会影响网站的收录和排名。
• 在修改 robots.txt 之前，请务必仔细测试。

资源

• Google robots.txt 规范: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• 百度 robots.txt 规范: <移除了无效网址>
• 搜狗 robots.txt 规范: <移除了无效网址>

总结

robots.txt 是一个重要的文件，可以帮助网站管理员控制搜索引擎对网站的抓取。在使用 robots.txt 之前，请务必仔细阅读相关规范。