Flume采集数据时在HDFS上产生大量小文件的问题怎么办-创新互联

这篇文章主要为大家展示了“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”这篇文章吧。

创新互联建站主营六盘水网站建设的网络公司,主营网站建设方案,App定制开发,六盘水h5微信小程序开发搭建,六盘水网站营销推广欢迎六盘水等地区企业咨询

调用agent 配置文件的：

#Describe the sink 添加：

a1.sinks.k1.hdfs.rollSize=0

a1.sinks.k1.hdfs.rollCount=0
rollSize
默认值：1024，当临时文件达到该大小（单位：bytes）时，滚动成目标文件。如果设置成0，则表示不根据临时文件大小来滚动文件。
rollCount
默认值：10，当events数据达到该数量时候，将临时文件滚动成目标文件，如果设置成0，则表示不根据events数据来滚动文件。

还有另一种出现大量小文件对应的解决方案，即设置a1.sinks.k1.hdfs.minBlockReplicas=1。因为文件会因为所在块的复制而滚动文件待测试......

以上是“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联-成都网站建设公司行业资讯频道！

文章题目：Flume采集数据时在HDFS上产生大量小文件的问题怎么办-创新互联
分享路径：https://www.cdcxhl.com/article10/hdsdo.html

成都网站建设公司_创新互联，为您提供自适应网站、品牌网站制作、网页设计公司、网站制作、微信公众号、用户体验

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容