小编给大家分享一下HBase如何调优,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
成都创新互联专注为客户提供全方位的互联网综合服务,包含不限于网站设计制作、成都网站制作、莫力达网络推广、小程序定制开发、莫力达网络营销、莫力达企业策划、莫力达品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;成都创新互联为所有大学生创业者提供莫力达建站搭建服务,24小时服务热线:028-86922220,官方网址:www.cdcxhl.com
1. 表的设计
1.1 提前创建多个Region
默认情况下,在创建HBase表的时候会自动创建一个Region分区,当导入数据的时候,所有的HBase客户端都向这一个Region写数据,直到这个Region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的Regions,这样当数据写入HBase时,会按照Region分区情况,在集群内做数据的负载均衡。
1.2 Row Key设计
HBase中row key用来检索表中的记录,支持以下三种方式:
(1) 通过单个RowKey访问:即按照某个RowKey键值进行Get操作;
(2) 通过RowKey的Range进行Scan:即通过设置Start RowKey和End RowKey,在这个范围内进行扫描;
(3) 全表扫描:即直接扫描整张表中所有行记录。
在HBase中,RowKey可以是任意字符串,最大长度64KB,实际应用中一般为10~100bytes,存为byte[]字节数组,一般设计成定长的。
RowKey是按照字典序存储,因此,设计RowKey时,要充分利用这个排序特点,将经常一起读取的数据存储到一块,将最近可能会被访问的数据放在一块。
举个例子:如果最近写入HBase表中的数据是最可能被访问的,可以考虑将时间戳作为RowKey的一部分,由于是字典序排序,所以可以使用Long.MAX_VALUE – timestamp作为RowKey,这样能保证新写入的数据在读取时可以被快速命中。
1.3 Column Family设计
不要在一张表里定义太多的column family。目前Hbase并不能很好的处理超过2~3个Column family的表。因为某个Column Family在Flush的时候,它邻近的Column Family也会因关联效应被触发Flush,最终导致系统产生更多的I/O。
1.4 In Memory设置(可选)
创建表的时候,可以通过HColumnDescriptor.setInMemory(true)将表放到RegionServer的缓存中,保证在读取的时候被cache命中。
1.5 版本限制
创建表的时候,可以通过HColumnDescriptor.setMaxVersions(int maxVersions)设置表中数据的最大版本,对于一些不是特别重要的数据,可以设置setMaxVersions(1)。
1.6 数据生命周期限制
创建表的时候,可以通过HColumnDescriptor.setTimeToLive(int timeToLive)设置表中数据的存储生命期,过期数据将自动被删除,例如如果只需要存储最近两天的数据,那么可以设置setTimeToLive(2 * 24 * 60 * 60)。
1.7 Compact 和Split(可选)
实际应用中,如果有必要可以手动触发Compact和split。
1.8 采用压缩(可选)
压缩需要根据实际业务和机器性能来衡量是否要采用牺牲CPU来换取存储上的节约,并且能节省I/O和网络开销,可以使用Lzo或Snappy压缩的方式,大致可以压缩4~5倍。
2. 读取优化
2.1 扫描缓存
在进行扫描时可以设置一次读取多条,缓存数据,减少I/O开销。代码实现:
hTable.setScannerCaching(50); // 参数50表示一次性扫描50条
2.2 扫描指定列
Scan时指定需要的Column Family,可以减少网络传输数据量,否则默认scan操作会返回整行所有Column Family的数据。
2.3 释放资源
通过scan取完数据后,记得要关闭ResultScanner,否则RegionServer可能会出现问题(对应的Server资源无法释放)。
3. 写入优化
3.1 写入缓存
写入HBase表的时候最好不要一条一条的写,采用批量的方式,在代码里设置:
hTable.setAutoFlush(false, false); // 不让hbase自动刷新数据到数据库
hTable.setWriteBufferSize(1024 * 1024 * 10);// 缓存大小10M
当缓存的数据达到10M的时候会触发flush操作,另外当hTable.flushCommits();或hTable.close();时也会flush数据到数据库中。而且Hbase的API中支持数据已list的方式插入。
4. 参数优化
4.1 连接时间
参数:zookeeper.session.timeout
RegionServer与Zookeeper间的连接超时时间,默认值:3分钟(180000ms),我们配置:300000ms(5min)。
4.2 线程数控制
参数:hbase.regionserver.handler.count
RegionServer的请求处理IO线程数,默认值:10,我们配置:200。
4.3 split阈值
参数:hbase.hregion.max.filesize
单个region触发split的大小阈值,默认值:256M,我们配置:4G。
4.4 开启mslab方案
参数:hbase.hregion.memstore.mslab.enabled
减少因内存碎片导致的Full GC,提高整体性能,默认值:true。
4.5 扫描缓存
参数:hbase.client.scanner.caching
scanner调用next方法一次获取的数据条数,默认值:1。
4.6 MemStore大小控制
参数:hbase.regionserver.global.memstore.upperLimit/lowerLimit
hbase.regionserver.global.memstore.upperLimit :防止memstore来不及flush成storefile,堆积对内存占用过大,当某region的所有memstore占用大于40%,hbase会强制block所有的更新(请求)并flush这些memstore释放内存。
hbase.regionserver.global.memstore.lowerLimit 默认值就可以,不用调。
以上是“HBase如何调优”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
当前标题:HBase如何调优
地址分享:https://www.cdcxhl.com/article38/pdessp.html
成都网站建设公司_创新互联,为您提供用户体验、Google、外贸建站、搜索引擎优化、静态网站、手机网站建设
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联