当前位置:首页 > 公司动态 > 什么是网站的robots.txt文件

什么是网站的robots.txt文件

2019-10-16

站长在对网站进行优化的时候,都会给网站添加robots.txt文件,那什么是robots.txt文件呢?有什么呢?下面就由云无限的小编给大家介绍下吧。

什么是robots协议?

robots是网站和搜索引擎之间的一个协议。用来防止一些不想被搜索引擎索引的页面或内容的抓取,而且可以吧sitemap地图的路径放在robots协议中,这样有助于网站地图的抓取。能够有效提高网站的健康度、纯净度,降低网站垃圾内容收录

robots协议怎么写?

robots的常用的命令一般有:

User-agent:*(这里的*代表的所有的搜索引擎种类,这句话表示可以让所有的搜索引擎都可以访问抓取这个网站。)

Disallow:(这个表示禁止的意思,一些不想让搜索引擎访问的页面可以把路径写下来。)

Allow:(这个表示允许的意思,想要搜索引擎访问页面可以把路径写下来。)

robots协议的作用

通过我们上面的内容,我们对robots也有了了解。当搜索引擎王文网站时,会优先访问网站的robots协议,从中来获取信息来抓取网站。那么如果没有robots协议会对网站有什么影响呢?

1、如果没有robots,搜索引擎蜘蛛访问网站时依旧会先访问robots.txt,没有的话会返回404页面,影响虽然不大,但是也决对不好。

2、没有robots,搜索引擎蜘蛛默认抓取所有内容。这一点影响不是很大,但是还是取决于网站的内容,如果存在很多低质量的内容,建议还是使用robots进行限制比较好。

以上内容就是由云无限的小编为大家介绍什么是robots.txt文件, 希望对大家有所帮助。了解更多相关知识, 大家可以关注我们的网站。

robots.txt

Top↑
欧美的gv在线视频网站_欧美 图片 亚洲 在线_鲁大妈电影青青草_青青草久久视频大全