网站日志分析教程-SEO之网站日志分析技能

2024-04-06    分类: 网站建设

什么是日志?

飞机的日志:黑匣子

电脑的日志:电脑管理-事件查看器-应用程序

关于网站的日志分析,这是SEO数据分析重点重要一环,好的SEOer能够通过网站的日志分析出来网站目前是否是健康的

,是否被人攻击。

网站日志分析有什么用?

1、重要的频道(大量流量着陆页面,高转化率,用户直接交易页面等)有更多的爬虫来抓取;

2、在爬虫一定的抓取时间内,尽量少花精力放在一些无用的噪音页面上(重复页面,低质量页面,空内容页面,404页

 面,不排名页面,低转化页面等);

3、爬虫在抓取页面的时候,尽量增加抓取的有效性,而不是重复抓取几篇相同的页面;

4、爬虫不会被繁杂的URL参数所扰,不会进入无休止的爬虫陷阱中;

5、每个页面的下载时间足够的快,这样,可以让爬虫在时间一定的基础上能够更多的抓取页面;

6、爬虫都能够完整的抓到我们想让他抓的页面,不要抓到我们的隐私页面;

7、日志中不要有太多的404,不要有无理由的跳转,不要有很多的500(服务器错误),这样的情况出现;

8、那些更新频繁但是价值很低的页面不要吸引太多的爬虫精力;

9、我们所有的产品,所有的品类,所有一切有用的东西都要被爬虫完整爬到并且快速遍历;

10、能用碰到真正的爬虫,而不是一些模拟爬虫的机器人;

11、爬虫能够完整的下载到我们的robots.txt;

12、爬虫可以根据我们入口的调整,robots.txt的限制引导,JS的设计等按照我们的要求进行爬取;

13、爬虫越多越好。。。对我们的兴趣越大越好,当然,一切是在我们自身信任度和重要度增加的基础上。

网站日志分析需要从哪些维度进行分析

1、网站日志中的搜索引擎爬虫类型,以目前国内的搜索引擎时常看,从日志中可以看到的爬虫大体有:

百度蜘蛛(包括PC移动及渲染蜘蛛等,具体spider名称不做阐述,站长平台均有详细蜘蛛讲解);

搜狗蜘蛛、360蜘蛛、神马蜘蛛、头条蜘蛛(具体spider名称不做阐述,站长平台均有详细蜘蛛讲解);

各蜘蛛的抓取占比应与目前搜索引擎所占市场份额相差不大;需注意的是神马为移动端站长平台;

2、抓取链接

分析各个爬虫抓取链接的结构类型,例如目录页面还是详情页或者serch页面JS链接等;

分析各个类型抓取占比是否正常;

分析爬虫抓取链接的时间规律,比如百度,在哪个时间端的来访抓取量大,抓取时间线可了解;

分析访问链接与抓取链接的关联;

3、抓取量级

计算总抓取量级,各个爬虫抓取量级、各个链接类型抓取量级,是否在正常范围;

4、状态码

200、301、302、304、404、403、500、502等(根据抓取链接状态码分析网站是否正常等)

5、IP是否对应

是否存在伪爬虫IP段、是否存在采集、扫描、攻击等行为,将异常IP段及爬虫进行封禁;

6、新增抓取量

分析近期站内新生成链接的抓取占比、抓取次数等

常用网站日志分析工具

1、天眼日志分析系统

软件介绍:

天眼日志分析系统是中国推广学院推出的一套针对SEO日志分析软件,支持windows和linux等操作系统的日志分析。包

括对百度、谷歌、360和搜狗等搜索引擎蜘蛛爬行情况分析。另外软件独创网站安全分析,和IP黑名单功能。软件兼容

性强可以在本机和服务器系统直接运行。是目前国内出色的SEO日志分析系统。

2、爱站日志分析

软件介绍:

爱站日志分析工具是一款由爱站打造的日志分析软件,能帮助站长进行日志分析工作,即时监控蜘蛛访问状况,发现问

题,及时处理。此工具可以自动识别IIS、Apache、Nginx日志格式,支持直接拖拽日志一个或多个文件(夹)至窗口进

行分析,每一项数据都分别以“数据显示”和“图形显示”两种不同方式向用户展示数据结果。

文章名称:网站日志分析教程-SEO之网站日志分析技能
当前地址:https://www.cdcxhl.com/news21/322471.html

成都网站建设公司_创新互联,为您提供自适应网站响应式网站外贸建站用户体验网站制作

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

成都定制网站网页设计