什么是robots文件？robots.txt文件格式是怎么样的？

我们都知道，网站有robots这种东西，所以有很多的站长就问了，什么是robots文件？robots.txt文件格式是怎么样的？如何创建robots.txt文件？接下来我们为大家详细解答，如果大家想知道答案，就跟着小编往下看看吧!

什么是robots文件？

robots是站点与spider沟通的重要渠道，站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。为了避免站长在设置robots文件时出现，百度站长平台特别推出了robots工具，帮助站长正确设置robots。

robots.txt文件格式是怎么样的？

User-agent: *

Disallow:

User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符，也可以是具体的搜索引擎蜘蛛，如Baiduspider 百度蜘蛛。

Disallow: 按设置禁止访问某些页面，不加内容，表示无限制。

如何创建robots.txt文件？

1.当网站本身并不存在robots文件的情况下，新建一个纯文本文档，命名为robots.txt，在此文件中进行编辑，完成后传到对应网站的根目录下即可。

2.网站本身存在robots文件的情况下，下载原robots文件进行编辑，完成后传到对应网站的根目录下。

以上就是为您整理关于robots.txt文件的基本知识，快为你的网站创建robots.txt文件吧，注意别把robots.txt写错为robot.txt了。