HBase常用参数有哪些

小编给大家分享一下HBase常用参数有哪些，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

创新互联公司主要从事成都网站设计、成都做网站、网页设计、企业做网站、公司建网站等业务。立足成都服务桦甸,10多年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575

1. 通用和master配置

hbase.rootdir
默认: file:///tmp/hbase-${user.name}/hbase
region server的数据根目录，用来持久化HBase。例如，要表示hdfs中的’/hbase’目录，namenode 运行在debugo01的8020端口,则需要设置为hdfs:// debugo01:8020/hbase。这个是必须要设置的项目，默认值本地文件系统的/tmp只能在单机模式使用。
hbase.master.port
默认: 60000
HBase的Master服务端口。
hbase.cluster.distributed
默认: false
HBase的运行模式。false是单机模式，true是分布式模式。若为false,HBase和Zookeeper会运行在同一个JVM里面。
hbase.tmp.dir
本地的临时目录。需要注意的是默认的/tmp会在重启时清空。
默认: /tmp/hbase-${user.name}
hbase.master.info.port
默认: 60010
HBase Master web UI的端口. 设置为-1 则不运行web UI。
hbase.master.info.bindAddress
默认: 0.0.0.0
HBase Master web UI绑定的IP
hbase.master.DNS.interface
当使用DNS的时候，Master用来上报的IP地址的网络接口名字。
默认: default
hbase.master.dns.nameserver
当使用DNS的时候，RegionServer的DNS域名或者IP 地址，Master用它来确定用来进行通讯的域名.
默认: default
hbase.snapshot.enabled
是否启用snapshot功能。
默认值：true
hbase.balancer.period
Master执行region balancer的间隔。
默认: 300000
hbase.master.logcleaner.ttl
Hlog存在于.oldlogdir 文件夹的最长时间, 超过了就会被 Master 的线程清理掉.
默认: 600000
hbase.master.logcleaner.plugins
LogsCleaner服务会执行的一组LogCleanerDelegat。值用逗号间隔的文本表示。这些WAL/HLog cleaners会按顺序调用。可以把先调用的放在前面。你可以实现自己的LogCleanerDelegat，加到Classpath下，然后在这里写下类的全称。一般都是加在默认值的前面。
默认: org.apache.hadoop.hbase.master.TimeToLiveLogCleaner
hbase.rest.port
HBase REST server的端口
默认: 8080
hbase.rest.readonly
定义REST server的运行模式。可以设置成如下的值： false: 所有的HTTP请求都是被允许的 – GET/PUT/POST/DELETE. true:只有GET请求是被允许的
默认: false
hbase.coprocessor.master.classes
Master所使用的协处理器类名。多个类的情况下使用逗号分割。比如使用org.apache.hadoop.hbase.security.access.AccessController提供了安全管控能力。
默认: null。
hbase.rpc.engine
HBase使用的rpc引擎类。一般使用带安全验证的org.apache.hadoop.hbase.ipc. SecureRpcEngine类
默认: null。

2. RegionServer相关

hbase.regionserver.port
默认: 60020
HBase RegionServer绑定的端口
hbase.regionserver.info.port
默认: 60030
HBase RegionServer web 界面绑定的端口。设置为-1 则不运行web UI
hbase.regionserver.info.port.auto
默认: false
RegionServer是否在当hbase.regionsever.info.port已经被占用的时候，可以搜一个空闲的端口绑定。默认关闭。
hbase.regionserver.info.bindAddress
默认: 0.0.0.0
HBase RegionServer web 界面的IP地址
hbase.regionserver.class
默认: org.apache.hadoop.hbase.ipc.HRegionInterface
RegionServer接口类。客户端在连接region server的时候会使用到。
hbase.regionserver.lease.period
默认: 60000
客户端租用HRegion server 期限，即超时阀值。单位是毫秒。默认情况下，客户端必须在这个时间内发一条信息，否则视为死掉。
hbase.regionserver.handler.count
默认: 10
RegionServers受理的RPC Server实例数量。对于Master来说，这个属性是Master受理的handler数量
hbase.regionserver.msginterval
默认: 3000
RegionServer 发消息给 Master 时间间隔，单位是毫秒
hbase.regionserver.optionallogflushinterval
默认: 1000
将Hlog同步到HDFS的间隔。如果Hlog没有积累到一定的数量，到了时间，也会触发同步。默认是1秒，单位毫秒。
hbase.regionserver.regionSplitLimit
默认: 2147483647
region的数量到了这个值后就不会在分裂了。这不是一个region数量的硬性限制。但是起到了一定指导性的作用。默认是MAX_INT（不限制）。
hbase.regionserver.logroll.period
默认: 3600000
提交commit log的间隔，不管有没有写足够的值。
hbase.regionserver.hlog.enabled
默认：true
是否启用WAL
hbase.regionserver.wal.enablecompression
默认：false
是否对日志压缩
hbase.regionserver.hlog.reader.impl
默认: org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogReader
HLog file reader 的实现.
hbase.regionserver.hlog.writer.impl
默认: org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogWriter
HLog file writer 的实现.
hbase.regionserver.thread.splitcompactcheckfrequency
默认: 20000
region server 多久执行一次split/compaction 检查.
hbase.regionserver.nbreservationblocks
默认: 4
储备的内存block的数量(译者注:就像石油储备一样)。当发生out of memory 异常的时候，我们可以用这些内存在RegionServer停止之前做清理操作。
hbase.regionserver.dns.interface
默认: default
当使用DNS的时候，RegionServer用来上报的IP地址的网络接口名字。
hbase.regionserver.dns.nameserver
默认: default
当使用DNS的时候，RegionServer使用的DNS的域名或者IP 地址，RegionServer用它来确定和master用来进行通讯的域名.
hbase.regions.slop
默认: 0
当任一regionserver有average + (average * slop)个region是会执行Rebalance
hbase.regionserver.global.memstore.upperLimit
默认: 0.4
单个region server的全部memtores的最大值。超过这个值，一个新的update操作会被挂起，强制执行flush操作。
hbase.regionserver.global.memstore.lowerLimit
默认: 0.35
当强制执行flush操作的时候，当低于这个值的时候，flush会停止。默认是堆大小的 35% . 如果这个值和 hbase.regionserver.global.memstore.upperLimit 相同就意味着当update操作因为内存限制被挂起时，会尽量少的执行flush(译者注:一旦执行flush，值就会比下限要低，不再执行)
hbase.coprocessor.regionserver.classes
Master所使用的协处理器类名。多个类的情况下使用逗号分割。比如使用org.apache.hadoop.hbase.security.access.AccessController提供了安全管控能力。
默认: null。

3. Client相关参数

hbase.client.write.buffer
默认: 2097152
HTable客户端的写缓冲的默认大小。因为缓冲在客户端和服务端需要申请空间，需要消耗客户端和服务端两个地方的内存。较大的buffer，可以减少RPC的次数，从而提高性能。估算服务器端被占用的内存： hbase.client.write.buffer * hbase.regionserver.handler.count
hbase.client.pause
默认: 1000
客户端操作失败后的重试暂停时间。
hbase.client.retries.number
默认: 10
客户端失败后的最大重试次数。例如region查询，get，Update等操作。
hbase.client.scanner.caching
默认: 1
当调用Scanner的next方法，而值又不在缓存里的时候，从服务端一次获取的行数。越大的值意味着Scanner会快一些，但是会占用更多的内存。当缓冲被占满的时候，next方法调用会越来越慢。慢到一定程度，可能会导致超时。例如超过了hbase.regionserver.lease.period。
hbase.client.keyvalue.maxsize
默认: 10485760
一个KeyValue实例的最大size.这个是用来设置存储文件中的单个entry的大小上界。因为一个KeyValue是不能分割的，所以可以避免因为数据过大导致region不可分割。明智的做法是把它设为可以被最大region size整除的数。如果设置为0或者更小，就会禁用这个检查。默认10MB。

4. ZooKeeper相关

hbase.zookeeper.dns.interface
当使用DNS的时候，Zookeeper用来上报的IP地址的网络接口名字。
默认: default
hbase.zookeeper.dns.nameserver
默认: default
当使用DNS的时候，Zookeepr使用的DNS的域名或者IP 地址，Zookeeper用它来确定和master用来进行通讯的域名.
zookeeper.session.timeout
默认: 180000
ZooKeeper 会话超时.HBase把这个值传递改zk集群，向他推荐一个会话的最大超时时间。单位是毫秒。
zookeeper.znode.parent
默认: /hbase
ZooKeeper中的HBase的根ZNode。所有的HBase的ZooKeeper会用这个目录配置相对路径。默认情况下，所有的HBase的ZooKeeper文件路径是用相对路径，所以他们会都去这个目录下面。
zookeeper.znode.rootserver
默认: root-region-server
ZNode 保存的根region的路径. 这个值是由Master来写，client和regionserver 来读的。如果设为一个相对地址，父目录就是 ${zookeeper.znode.parent}.默认情形下，意味着根region的路径存储在/hbase/root-region-server.
hbase.zookeeper.quorum
默认: localhost
Zookeeper集群的地址列表，用逗号分割。例如：”host1.mydomain.com,host2.mydomain.com,host3.mydomain.com”.默认是localhost,如果在hbase-env.sh设置了HBASE_MANAGES_ZK，这些ZooKeeper节点就会和HBase一起启动。
hbase.zookeeper.peerport
默认: 2888
ZooKeeper节点使用的端口。
hbase.zookeeper.leaderport
默认: 3888
ZooKeeper用来选择Leader的端口。
hbase.zookeeper.property.initLimit
默认: 10
ZooKeeper的zoo.conf中的配置。 初始化synchronization阶段的ticks数量限制
hbase.zookeeper.property.syncLimit
默认: 5
ZooKeeper的zoo.conf中的配置。 发送一个请求到获得承认之间的ticks的数量限制
hbase.zookeeper.property.dataDir
默认: ${hbase.tmp.dir}/zookeeper
ZooKeeper的zoo.conf中的配置。 快照的存储位置
hbase.zookeeper.property.clientPort
默认: 2181
ZooKeeper的zoo.conf中的配置。 客户端连接的端口
hbase.zookeeper.property.maxClientCnxns
默认: 2000
ZooKeeper的zoo.conf中的配置。 ZooKeeper集群中的单个节点接受的单个Client(以IP区分)的请求的并发数。这个值可以调高一点，防止在单机和伪分布式模式中出问题。

5. 模式和存储相关

hbase.table.max.rowsize
默认: true
设置为true时，当模式在反生变更操作时则锁定zookeeper中的表，以避免并行操作时破坏表的一致性。
hbase.table.max.rowsize
默认：1073741824
当不指定Get和Scan操作中的scan选项时，获取的最大行的字节大小。超过则抛出RowTooBigException异常。
hbase.hregion.memstore.flush.size
默认: 67108864
当memstore的大小超过这个值，会flush到磁盘。这个值被一个线程每隔hbase.server.thread.wakefrequency检查一下。
hbase.server.thread.wakefrequency
默认: 10000
Service线程（log roller等）的sleep时间间隔，单位毫秒。
hbase.hregion.preclose.flush.size
默认: 5242880
当一个region中的memstore的大小大于这个值的时候，我们又触发了close.会先运行“pre-flush”操作，清理这个需要关闭的memstore，然后将这个region下线。当一个region下线了，我们无法再进行任何写操作。如果一个memstore很大的时候，flush操作会消耗很多时间。”pre-flush”操作意味着在region下线之前，会先把memstore清空。这样在最终执行close操作的时候，flush操作会很快。
hbase.hregion.memstore.block.multiplier
默认: 2
如果memstore有hbase.hregion.memstore.block.multiplier倍数的hbase.hregion.flush.size的大小，就会阻塞update操作。这是为了预防在update高峰期会导致的失控。如果不设上界，flush的时候会花很长的时间来合并或者分割，最坏的情况就是引发out of memory异常。
hbase.hregion.memstore.mslab.enabled
默认: false
体验特性：启用memStore分配本地缓冲区。这个特性是为了防止在大量写负载的时候堆的碎片过多。这可以减少GC操作的频率。
hbase.hregion.max.filesize
默认: 268435456
最大HStoreFile大小。若某个Column families的HStoreFile增长达到这个值，这个Hegion会被切割成两个。 Default: 256M.
hbase.hstore.compactionThreshold
默认: 3
当一个HStore含有多于这个值的HStoreFiles的时候，会执行一个合并操作，把这HStoreFiles写成一个。这个值越大，需要合并的时间就越长。
hbase.hstore.blockingStoreFiles
默认: 7
当一个HStore含有多于这个值的HStoreFiles的时候，会执行一个合并操作，update会阻塞直到合并完成，直到超过了hbase.hstore.blockingWaitTime的值
hbase.hstore.blockingWaitTime
默认: 90000
hbase.hstore.blockingStoreFiles所限制的StoreFile数量会导致update阻塞，这个时间是来限制阻塞时间的。当超过了这个时间，HRegion会停止阻塞update操作，不过合并还有没有完成。默认为90s.
hbase.hstore.compaction.max
默认: 10
每个“小”合并的HStoreFiles最大数量。
hbase.hregion.majorcompaction
默认: 86400000
一个Region中的所有HStoreFile的major compactions的时间间隔。默认是1天。 设置为0就是禁用这个功能。
hbase.mapreduce.hfileoutputformat.blocksize
默认: 65536
MapReduce中HFileOutputFormat可以写 storefiles/hfiles. 这个值是hfile的blocksize的最小值。通常在HBase写Hfile的时候，bloocksize是由table schema(HColumnDescriptor)决定的，但是在mapreduce写的时候，我们无法获取schema中blocksize。这个值越小，你的索引就越大，你随机访问需要获取的数据就越小。如果你的cell都很小，而且你需要更快的随机访问，可以把这个值调低。
hfile.block.cache.size
默认: 0.2
分配给HFile/StoreFile的block cache占最大堆(-Xmx setting)的比例。默认是20%，设置为0就是不分配。
hbase.hash.type
默认: murmur
哈希函数使用的哈希算法。可以使用MurmurHash和 jenkins (JenkinsHash). 提供给 bloom filters使用.

6. 安全相关

hbase.security.authentication
HBase的权限管控方式。可选输入为simple和kerberos。
默认值：simple
hbase.security.authentication
是否启用HBase安全验证。
默认:false
hbase.superuser
HBase的超级管理员用户。
默认值：hbase
hbase.master.keytab.file
默认:
开启基于kerberos的Security。HMaster Server验证登录使用的keytab 文件路径。
hbase.master.kerberos.principal
默认:
开启基于kerberos的Security。HMaster使用principal name。
hbase.regionserver.keytab.file
默认：
开启基于kerberos的Security。HRegionServer验证登录使用的keytab 文件路径。
hbase.regionserver.kerberos.principal
默认:
开启基于kerberos的Security。RegionServer使用的principal name。

以上是“HBase常用参数有哪些”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！

当前名称：HBase常用参数有哪些
路径分享：https://www.cdcxhl.com/article0/geepio.html

成都网站建设公司_创新互联，为您提供网站策划、响应式网站、网站设计、网站维护、Google、网站内链

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联