SEO高手需要懂得什么呢？

2016-10-27 分类：网站建设

robots协议书是正确引导蛛蛛抓取网站地形图，也用于维护网站信息和比较灵敏信息内容，保证客户私家信息和隐私维护不被损害。存有于网站根目录正，以文件格式存有，留意robots文件夹名称不可以随意改变。

SEO高手为什么要懂robots?

书写：:表达关于某一爬虫，

:表达制止抓取

:容许抓取

.*通配符，表达悉数

.$结束符，表达以哪些结尾

/根域下就是指网站根目录

注：灶具显现英文情况下的，并且后边有一个空格符，首写有必要小写。

例：

1、User-agent:*Disallow:/关于悉数爬虫制止抓取根目录下的悉数衔接

2、User-agent:BaiduspiderDisallow:/制止百度爬虫抓取网站悉数联接

3、User-agent:*Disallow:/a/关于悉数的爬虫制止抓取网站根目录下的a目录

4、User-agent:*Disallow:/a关于悉数的爬虫制止抓取网站根目录下为“a”开端的文档

5、User-agent:*Disallow:/*？*（？表达动态性符）制止抓取网站根目录下带？号的动态性衔接

6、User-agent:*Disallow:/*.js$制止抓取网站根目录下边以.js结尾的文档

7、User-agent:*Disallow:/a/Allow:/a/b/制止抓取网站根目录下边“a”，容许抓取“a”目录下边的“b”目录。

8、User-agent:*Disallow:/a/Allow:/a/b制止抓取网站根目录下边“a”目录，容许抓取“a”目录中以“b”开端的文档。

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容