SEO中robots文件的作用及注意事项

现在基本上所有的优化站点中都有加入robots文件，但是也有一部分SEOer们对于robots文件不是很了解。今天我们就一起来学习学习关于robots文件的相关内容。

1、每一个网站中只能有一个robots文件，文件命名都是robots.txt

2、robots.txt文件正确的位置是放在网站优化的根目录下，如果位于子目录下则该文件无法访问

3、robots.txt文件不能够阻止任何文件的访问，只能够阻止搜索引擎对内容的索引，它是一个公共资源，如果使用不正确，就会将相关内容暴露给黑客

4、robots.txt文件的写法

User-agent:*

Disallow:/

阻止搜索引擎对任何内容的访问，网站所有页面将不会被收录

User-agent:*

Disallow:/directory

阻止对directory开始的所有信息的访问

User-agent:*

Disallow:/directory/

阻止搜索引擎对/directory/目录的访问

User-agent:*

Disallow:X

Disallow:Y

Disallow:Z

User-agent:googlebot

Disallow:Z

对于Google只是阻止对Z的访问，而不是X，Y，Z

User-agent:*

Disallow:X

Disallow:Y

Disallow:Z

User-agent:googlebot

Disallow:X

Disallow:Y

Disallow:Z

阻止google对X，Y,Z的访问