ES聚合学习笔记之--HyperLogLog与BloomFilter-创新互联

ES的聚合是其一大特色。然而出于性能的考虑， ES的聚合是以分片Shard为单位，而非Index为单位， 所以
有些聚合的准确性是需要注意的。 比如： TermAggregations.

“只有客户发展了，才有我们的生存与发展！”这是创新互联的服务宗旨！把网站当作互联网产品，产品思维更注重全局思维、需求分析和迭代思维，在网站建设中就是为了建设一个不仅审美在线，而且实用性极高的网站。创新互联对成都网站制作、做网站、外贸营销网站建设、网站制作、网站开发、网页设计、网站优化、网络推广、探索永无止境。

es的基数聚合使用到了hyperloglog算法。 出于好奇，了解了一下。

在海量数据场景下， 我们通常会遇到这样的两个问题:

1. 数据排重。比如在推送消息场景，消息重复对用户是打扰， 用户发券场景， 重复发券就是损失了。

2. pv/uv统计。这类场景下， 对精确度要求没必要锱铢必较。

如何高效解决这两类问题呢？

对于数据排重， 我们可以使用布隆过滤器。java 样列代码如下:

BloomFilter<String> bloomFilter = BloomFilter.create(new Funnel<String>() {

            private static final long serialVersionUID = 1L;

            @Override
            public void funnel(String arg0, PrimitiveSink arg1) {

                arg1.putString(arg0, Charsets.UTF_8);
            }

        }, 1024*1024*32);

        bloomFilter.put("asdf");
        bloomFilter.mightContain("asdf");

对于计数， 我们可以使用HyperLogLog算法，ES中已经有相关的实现。

其实封装一下，布隆过滤器也是能直接实现HyperLogLog算法的功能的。

这里遗留几个问题，思考清楚后补充:

1. BloomFilter跟HyperLogLog算法的原理
2. 相同量级数据下的效率及内存消耗
3. 各自的适用场景有哪些

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

本文标题：ES聚合学习笔记之--HyperLogLog与BloomFilter-创新互联
文章源于：https://www.cdcxhl.com/article34/djejse.html

成都网站建设公司_创新互联，为您提供关键词优化、全网营销推广、Google、商城网站、用户体验、自适应网站

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联