Spark-Error-Common-创新互联

      IDEA 开发 WordCount（Spark）报错

创新互联专业为企业提供永德网站建设、永德做网站、永德网站设计、永德网站制作等企业网站建设、网页设计与制作、永德企业网站模板建站服务，10多年永德做网站经验，不只是建网站，更提供有价值的思路和整体网络服务。

WordCount {

}

WordCount{
  (args: Array[]) {
    hadoopAddr = conf = SparkConf().setAppName()
    sc = SparkContext(conf)
    mapRdd = sc.textFile(hadoopAddr)
    result = mapRdd.flatMap(_.split()).map((_)).reduceByKey(_ + _).collect()
  }
}

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

15/12/08 22:07:16 INFO SparkContext: Running Spark version 1.4.0

15/12/08 22:07:17 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

15/12/08 22:07:18 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:355)

at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:370)

at org.apache.hadoop.util.Shell.<clinit>(Shell.java:363)

at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:79)

at org.apache.hadoop.security.Groups.parseStaticMapping(Groups.java:104)

at org.apache.hadoop.security.Groups.<init>(Groups.java:86)

at org.apache.hadoop.security.Groups.<init>(Groups.java:66)

at org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:280)

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

文章名称：Spark-Error-Common-创新互联
当前地址：https://www.cdcxhl.com/article30/dshcpo.html

成都网站建设公司_创新互联，为您提供电子商务、网页设计公司、标签优化、企业网站制作、App设计、手机网站建设

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联