移动端如何做好网站被动抓取？

2022-12-28 分类：网站建设

当做好了PC站点与移动站点的适配之后,接下来就是等待百度的抓取收录了。重庆SEO公司可以通过以下几点来加速网站被搜索引擎抓取。

(1)不要通过 robots agent封禁的方式调配PC或移动蜘蛛如果发现你的网站 robots文件中出现了 User-agent:*和 Disallow:/的写法,就代表封禁了所有搜索引擎抓取网站的网页。

(2)不要将重要的页面添加nofo|oM标签

(3)不要在服务器端轻易设置屏蔽某P段的访问,很有可能该IP就是搜索引擎能够识别的百度移动ua。

之前通过htt://baidu.com/search/spider.htm进行识别的网站请注意!您需要修改识别方式,新的正确地识别爬虫移动ua的方法如下。

①通过关键词“ Android或者“ Mobile"进行识别,判断为移动访问或者抓取。

②通过关键词“ Baiduspider2.0”进行识别,判断为百度爬虫。

另外需要强调的是,对于 robots封禁,如果封禁的 agent是爬虫会对PC和移动同时生效。即无论是PC还是移动爬虫,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同个URL,用PCua打开时是PC页,用移动ua打开时是移动页),想通过设置 Robots的 agent封禁达到只让移动爬虫抓取的目的,但由于PC和移动爬虫的agen嘟都是爬虫,这种方法是非常不可取的。

(4)通过百度站长工具中的链接提交工具进行实时提交。

(5)制作好移动站点的 sitemap文件,并通过百度站长工具的sitemap方式提交。

(6)通过分析移动站点的og日志,找到响应代码异常的排查原因并解决。

(7)服务器错误:爬虫发起抓取,httpcode返回码是5××。

(8)访问被拒绝:爬虫发起抓取,httpcode返回码是403。

(9)找不到页面:爬虫发起抓取,httpcode返回码是404。

(10)其他错误:爬虫发起抓取,httpcode返回码是4xx,不包括403和404。

网站栏目：移动端如何做好网站被动抓取？
当前URL：https://www.cdcxhl.com/news/226019.html

成都网站建设公司_创新互联，为您提供服务器托管、网站策划、商城网站、软件开发、云服务器、建站公司