怎样查看网站有没有屏蔽百度蜘蛛的抓取

有些站长在优化网站的过程中，会遇到这样一个问题：我网站的关键词布局没问题、内容质量没问题，并且规律性的更新网站内容，同时也有持续在一些高权重平台发布外链，为什么百度蜘蛛就是不收录的的网页？对于这样的问题，笔者认为首先要知道网站是否有屏蔽了百度蜘蛛的抓取，因为有些站长在建站初期的无意识操作下屏蔽了百度蜘蛛，这也是比较常见的。下面笔者来教大家怎样查看网站有没有屏蔽百度蜘蛛的抓取。网站建设★网站设计★网站制作★网页设计-800元全包;企业网络推广☆网站优化☆seo☆关键词排名☆百度快照-2200元全年展示;做网站优化排名-网站建设公司

网站建设哪家好，找创新互联公司！专注于网页设计、网站建设、微信开发、微信小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了民勤免费建站欢迎大家使用！

想知道网站有没有屏蔽百度蜘蛛的抓取，有两种方法

第一种：查看网站的robots.txt文件，此文件一般在网站的根目录下，显示如下：

User-agent:*

Disallow:/

这样的表示是屏蔽所有搜索引擎蜘蛛的抓取。

User-agent:Baiduspider

Disallow:/

这样就表示屏蔽了百度蜘蛛抓取。

那要怎样才能让百度蜘蛛抓取呢？笔者举个例子，如下：

User-agent:*

Disallow:/wp-admin/

Disallow:/wp-content/

上述的例子中，把Disallow:/改成指定的屏蔽目录就可以了，通常情况下，网站的后台目录是需要屏蔽的，只要指定的要屏蔽的目录，其他页面就会自动默认允许抓取了。另外还有一种方法就是把Disallow:/改成Allow:/，Allow的意思是指允许抓取的目录或页面。

第二种：查看网站的页面代码中是否设置屏蔽

在网站页面代码<head>与</head>之间，有没有<meta name="robots"content="noindex,follow">或者<meta name="Baiduspider"content="noindex,follow">的代码，如果有，把这段代码删除即可。

通过以上两种方法都可以查看一个网站是否有屏蔽了百度蜘蛛的抓取，你学会了吗？

新闻名称：怎样查看网站有没有屏蔽百度蜘蛛的抓取
分享链接：https://www.cdcxhl.com/article45/dghedhi.html

成都网站建设公司_创新互联，为您提供软件开发、Google、虚拟主机、App开发、网站改版、服务器托管

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容