Hadoop监控分析工具Dr.Elephant-创新互联

公司基础架构这边想提取慢作业和获悉资源浪费的情况，所以装个dr elephant看看。LinkIn开源的系统，可以对基于yarn的mr和spark作业进行性能分析和调优建议。

10年积累的成都做网站、网站建设经验，可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你，你也不认识我。但先网站设计后付款的网站建设流程，更有辽中免费网站建设让你可以放心的选择与我们合作。

DRE大部分基于java开发，spark监控部分使用scala开发，使用play堆栈式框架。这是一个类似Python里面Django的框架，基于java?scala?没太细了解，直接下来就能用，需要java1.8以上。

prerequest list:

Java 1.8

PlayFramework+activator

Nodejs+npm

scala+sbt

编译服务器是设立在美国硅谷的某云主机，之前为了bigtop已经装好了java,maven,ant,scala,sbt等编译工具，所以下载activator解压放到/usr/local并加入PATH即可。

然后从 github clone一份dr-elephant下来，打开compile.conf，修改hadoop和spark版本为当前使用版本，:wq保存退出，运行compile.sh进行编译，经过短暂的等待之后，因为美国服务器，下依赖快。会有个dist文件夹，里面会打包一个dr-elephant-2.0.x.zip，拷出来解压缩就可以用了。

DRE本身需要mysql 5.5以上支持，或者mariadb最新的10.1稳定版本亦可。这里会有一个问题，就是在DRE/conf/evolutions/default/1.sql里面的这三行：

create index yarn_app_result_i4 on yarn_app_result (flow_exec_id); create index yarn_app_result_i5 on yarn_app_result (job_def_id); create index yarn_app_result_i6 on yarn_app_result (flow_def_id);

由于在某些数据库情况下，索引长度会超过数据库本身的限制，所以，需要修改索引长度来避免无法启动的情况发生。

create index yarn_app_result_i4 on yarn_app_result (flow_exec_id(150)); create index yarn_app_result_i5 on yarn_app_result (job_def_id(150)); create index yarn_app_result_i6 on yarn_app_result (flow_def_id(150));

然后就应该没啥问题了。

到数据库里创建一个叫drelephant的数据库，并给出相关访问权限用户

接下来是需要配置DRE：

打开app-conf/elephant.conf

# Play application server port # 启动dre后play框架监听的web端口 port=8080 # Database configuration # 数据库主机，用户名密码库名 db_url=localhost db_name=drelephant db_user="root" db_password=

其他默认即可，不需更改

然后是GeneralConf.xml

<configuration>   <property>     <name>drelephant.analysis.thread.count</name>     <value>3</value>     <description>Number of threads to analyze the completed jobs</description>   </property>   <property>     <name>drelephant.analysis.fetch.interval</name>     <value>60000</value>     <description>Interval between fetches in milliseconds</description>   </property>   <property>     <name>drelephant.analysis.retry.interval</name>     <value>60000</value>     <description>Interval between retries in milliseconds</description>   </property>   <property>     <name>drelephant.application.search.match.partial</name>     <value>true</value>     <description>If this property is "false", search will only make exact matches</description>   </property> </configuration>

修改drelephant.analysis.thread.count，默认是3，建议修改到10，3的话从jobhistoryserver读取的速度太慢，高于10的话又读取的太快，会对jobhistoryserver造成很大压力。下面两个一个是读取的时间周期，一个是重试读取的间隔时间周期。

然后到bin下执行start.sh启动。And then, show smile to the yellow elephant。

装完看了一下这个东西，其实本身原理并不复杂，就是读取各种jmx，metrics，日志信息，自己写一个也不是没有可能。功能主要是把作业信息里的内容汇总放到一屏里面显示，省的在JHS的页面里一个一个点了。

That's it, so easy

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

网站名称：Hadoop监控分析工具Dr.Elephant-创新互联
文章链接：https://www.cdcxhl.com/article20/dgchco.html

成都网站建设公司_创新互联，为您提供网站策划、用户体验、搜索引擎优化、手机网站建设、ChatGPT、电子商务

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联