rdd没有reduceByKey的方法-创新互联

写Spark代码的时候经常发现rdd没有reduceByKey的方法，这个发生在spark1.2及其以前对版本，因为rdd本身不存在reduceByKey的方法，需要隐式转换成PairRDDFunctions才能访问，因此需要引入Import org.apache.spark.SparkContext._。

创新互联建站致力于互联网网站建设与网站营销，提供网站建设、做网站、网站开发、seo优化、网站排名、互联网营销、小程序开发、公众号商城、等建站开发，创新互联建站网站建设策划专家，为不同类型的客户提供良好的互联网应用定制解决方案，帮助客户在新的全球化互联网环境中保持优势。

不过到了spark1.3的版本后，隐式转换的放在rdd的object中，这样就会自动被引入，不需要显式引入。

 * Defines implicit functions that provide extra functionalities on RDDs of specific types.
 * For example, `RDD`.`rddToPairRDDFunctions` converts an RDD into a `PairRDDFunctions` for
 * key-value-pair RDDs, and enabling extra functionalities such as `PairRDDFunctions`.`reduceByKey`.
*/

object RDD {
  // The following implicit functions were in SparkContext before 1.3 and users had to
  // `import SparkContext._` to enable them. Now we move them here to make the compiler find
  // them automatically. However, we still keep the old functions in SparkContext for backward
  // compatibility and forward to the following functions directly.
  implicit def rddToPairRDDFunctions[K, V](rdd: RDD[(K, V)])
    (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null): PairRDDFunctions[K, V] = {
    new PairRDDFunctions(rdd)
  }

至于什么是隐式转换，简单来讲就是scala偷梁换柱换柱，让隔壁老王来干你干不了的事情了。

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

分享题目：rdd没有reduceByKey的方法-创新互联
浏览地址：https://www.cdcxhl.com/article2/djsioc.html

成都网站建设公司_创新互联，为您提供网站内链、动态网站、搜索引擎优化、网站设计公司、定制开发、网站设计

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联