Flume采集数据时在HDFS上产生大量小文件的问题怎么办

这篇文章主要为大家展示了“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”这篇文章吧。

创新互联主要从事做网站、成都网站设计、网页设计、企业做网站、公司建网站等业务。立足成都服务大关,十载网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575

调用agent 配置文件的：

#Describe the sink 添加：

a1.sinks.k1.hdfs.rollSize=0

a1.sinks.k1.hdfs.rollCount=0
rollSize
默认值：1024，当临时文件达到该大小（单位：bytes）时，滚动成目标文件。如果设置成0，则表示不根据临时文件大小来滚动文件。
rollCount
默认值：10，当events数据达到该数量时候，将临时文件滚动成目标文件，如果设置成0，则表示不根据events数据来滚动文件。

还有另一种出现大量小文件对应的解决方案，即设置a1.sinks.k1.hdfs.minBlockReplicas=1。因为文件会因为所在块的复制而滚动文件待测试......

以上是“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！

当前文章：Flume采集数据时在HDFS上产生大量小文件的问题怎么办
文章路径：https://www.cdcxhl.com/article10/gcoogo.html

成都网站建设公司_创新互联，为您提供静态网站、全网营销推广、关键词优化、网站收录、网站维护、软件开发

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容