使用环境:centos6.5+eclipse(4.4.2)+hadoop2.7.0
在馆陶等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都网站建设、网站设计 网站设计制作按需定制设计,公司网站建设,企业网站建设,品牌网站制作,成都营销网站建设,成都外贸网站建设,馆陶网站建设费用合理。1、下载eclipse hadoop 插件 hadoop-eclipse-plugin-2.7.0.jar 粘贴到eclipse 目录下的plugins下重新启动eclipse
2、选择eclipse里面的windows-->showview-->other-->mapreduce tool -->map/reduce locations
3、选择上一步后eclipse右下角会多出一个map/reduce locations 选项卡,在里面点击右键-->new hadoop locations -->配置如下图所示:
4、配置hadoop/etc/hadoop/mapred-site.xml,在<configuration></configuration>追加如下信息
<property>
<name>mapred.map.child.java.opts</name>
<value>-Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8883</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>1</value>
</property>
追加后的mapred-site.xml完整信息
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.map.child.java.opts</name>
<value>-Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8883</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>1</value>
</property>
</configuration>
追加后的mapred-site.xml完整信息
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.map.child.java.opts</name>
<value>-Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8883</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>1</value>
</property>
<property>
<name>mapred.reduce.child.java.opts</name>
<value>-Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8884</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>1</value>
</property>
</configuration>
执行:hadoop jar xxx.jar words.txt /wordsout
提交上面之后job就会在map 0% reduce 0%的时刻停下来等待远程调试的debugger。
这时在eclipse -->Debug as -->Remote Java Appplicetion :Contention Proteties IP:127.0.0.1[根据情况填写实际IP],Port:8883[上面配置的端口] apply debug
这时就可以进入map函数里面了。
5、调试Reduce 任务
配置hadoop/etc/hadoop/mapred-site.xml,在<configuration></configuration>追加如下信息
<property>
<name>mapred.reduce.child.java.opts</name>
<value>-Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8884</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>1</value>
</property>
执行:hadoop jar xxx.jar words.txt /wordsout
之后提交job,job就会在map 100% reduce 0%的时刻停下来等待远程调试的debugger。
这时在eclipse -->Debug as -->Remote Java Appplicetion :Contention Proteties IP:127.0.0.1[根据情况填写实际IP],Port:8884[上面配置的端口] apply debug
这时就可以进入reduce函数里面了。
本篇文章是基于hadoop 伪部署的基本上配置 的
参考文章:http://blog.csdn.net/gjt19910817/article/details/30384685
本文题目:eclipse远程调试mapreduce-创新互联
URL网址:https://www.cdcxhl.com/article0/dhcsio.html
成都网站建设公司_创新互联,为您提供App设计、企业建站、网站改版、网站内链、网站设计、定制网站
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联