如何通过map操作看RDD的Map过程

本篇内容介绍了“如何通过map操作看RDD的Map过程”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

成都创新互联服务项目包括永济网站建设、永济网站制作、永济网页制作以及永济网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，永济网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到永济省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

RDD中的map,flatMap等操作是怎么串在一起形成DAG图的呢？这是个很重要的问题，理解了这一点才能更好的理解Spark的内核实现。本文通过map过程来试图解释这一点。

先看看RDD的一个子类：MapPartitionsRDD，它会用在map函数场景下。

它的定义：

private[spark] class MapPartitionsRDD[U: ClassTag, T: ClassTag](
    var prev: RDD[T],
    f: (TaskContext, Int, Iterator[T]) => Iterator[U],  // (TaskContext, partition index, iterator)
    preservesPartitioning: Boolean = false,
    isFromBarrier: Boolean = false,
    isOrderSensitive: Boolean = false)
  extends RDD[U](prev)

prev是父RDD，就是父类RDD的入参，在后面的代码里就是firstParent。

F代表了map函数的定义，其中第二个Int参数是分区索引号。我们先不管这个f入参怎么传进来的，先看看MapPartitionsRDD需要做哪些事。

前面说过，对于RDD来说，最重要的函数就是compute，MapPartitionsRDD的compute方法定义：

override def compute(split: Partition, context: TaskContext): Iterator[U] =
    f(context, split.index, firstParent[T].iterator(split, context))

很明确，就是用当前的solit分区来执行入参的f函数！

那么，这个MapPartitionsRDD是怎么产生的呢？原来是在RDD类中的map函数产生的：

def map[U: ClassTag](f: T => U): RDD[U] = withScope {
    val cleanF = sc.clean(f)
    new MapPartitionsRDD[U, T](this, (_, _, iter) => iter.map(cleanF))
  }

这几行代码什么意思？这里还是需要好好分析一下的。

对照MapPartitionsRDD的定义，我们知道：

(_, _, iter) => iter.map(cleanF)

里面的_,_代表TaskContext和分区索引，因为在MapPartitionsRDD的compute方法中已经有了split入参和context入参，所以在RDD中就不需要传这两个参数了。

iter代表要处理的数据集，在MapPartitionsRDD中的compute方法中定义为：

firstParent[T].iterator(split, context)

函数就是第一个父类RDD的split分区的数据集。这里就很清楚了，对这个数据集做cleanF操作（也就是sc.clean之后的map函数，sc.clean是去掉不能序列号的字节码的意思，保证可以序列化后分发到其他节点执行）。

“如何通过map操作看RDD的Map过程”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！

新闻名称：如何通过map操作看RDD的Map过程
标题路径：https://www.cdcxhl.com/article8/jcihip.html

成都网站建设公司_创新互联，为您提供网站营销、、搜索引擎优化、App设计、Google、电子商务

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联