mapreduce性能优化的方法是什么

这篇文章主要讲解了“mapreduce性能优化的方法是什么”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“mapreduce性能优化的方法是什么”吧！

网站建设哪家好，找创新互联建站！专注于网页设计、网站建设、微信开发、微信平台小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了苏仙免费建站欢迎大家使用！

map task 个数严重影响mr的性能。网上很多资料，讲解了原理和方法，我这里不再敖述。我总结了两种修改方法，希望对大家有帮助。

方法1：修改 hdfs 的blocksize，这种方法很不可取，需要重新启动集群。关键是以前的数据依然保持者以前blocksize的大小，新数据才会是新的blocksize的大小。比如以前是128M，修改为512M。以前的数据没变化，blocksize依然是128M。

方法二：推荐方法。代码中设置，最灵活，根据不同需求，设置不一样的值。设置 mapred.min.split.size 的大小代码中添加FileInputFormat.setMinInputSplitSize，单位是字节，如我的代码：

            job.setMapOutputValueClass(IntWritable.class);
            job.setNumReduceTasks(1);
            //设置最小分片为512M
            FileInputFormat.setMinInputSplitSize(job, 1024*1024*512);
            FileInputFormat.addInputPath(job, new Path("/usr/keyword/input"));

补充说明：

TextInputFormat.setMinInputSplitSize(job,1024L);//设置最小分片大小
TextInputFormat.setMaxInputSplitSize(job,1024×1024×10L);//设置最大分片大小

感谢各位的阅读，以上就是“mapreduce性能优化的方法是什么”的内容了，经过本文的学习后，相信大家对mapreduce性能优化的方法是什么这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！

本文题目：mapreduce性能优化的方法是什么
浏览地址：https://www.cdcxhl.com/article24/piedce.html

成都网站建设公司_创新互联，为您提供定制网站、企业建站、关键词优化、Google、网页设计公司、域名注册

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联