Spark的mapWithState解密方法是什么

云计算

这篇文章主要讲解了“Spark的mapWithState解密方法是什么”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Spark的mapWithState解密方法是什么”吧！

创新互联服务项目包括浑南网站建设、浑南网站制作、浑南网页制作以及浑南网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，浑南网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到浑南省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

updateStateByKey和mapWithState方法在DStream中找不到，需要进行隐式转换，转换为PairDStreamFunctions对象。

updateStateByKey是在已有的状态下进行更新操作。Seq[V]中存放历史数据，Option[S]存放新值，可能没有值。使用了默认的Partitioner函数，HashPartitioner。

StateDStream继承DStream，使用MEMORY_ONLY_SER的方式作为存储级别。

StateDStream的compute方法，如果parent存在则调用computeUsingPreviousRDD方法，如果不存在调用preStateRDD的mapPartitions方法。

computeUsingPreviousRDD方法中，parentRDD和之前的RDD进行cogroup操作，根据Key对Value进行聚合，基于Key对所有的Value进行扫描，当数据量比较少时可以考虑使用cogroup方法，但是当数据量大时，就会影响整个运行，降低性能。

mapWithState方法中接收StateSpec类型的参数，StateSpec中封装了更新操作的函数。

StateImpl继承State类，记录了其状态信息，定义了获取，更新，删除等操作接口，很像是数据库中的一张表，进行增删改查。

StateSpecImpl类中定义了如何初始化状态，设置Partition的个数，设置分区函数Partition。

MapWithStateDStreamImpl类的compute方法其实质是调用InternalMapWithStateDStream的getOrCompute方法。

InternalMapWithStateDStream是在历史数据的基础上进行更新操作。

InternalMapWithStateDStream的compute方法中，实例化了MapWithStateRDD对象。

MapWithStateRDD类中，一个Partition对应一个MapWithStateRDDRecord。

MapWithStateRDD的compute方法，先获取之前的State信息，和现在数据的迭代器进行操作，，调用MapWithStateRDDRecord的updateRecordWithData的方法，返回MapWithStateRDDRecord为元素的迭代器。

newStateMap中保存了整个历史数据。

RDD是不可变的，但是RDD中的数据可以变化。

感谢各位的阅读，以上就是“Spark的mapWithState解密方法是什么”的内容了，经过本文的学习后，相信大家对Spark的mapWithState解密方法是什么这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。

当前名称：Spark的mapWithState解密方法是什么
标题URL：https://www.cdcxhl.com/article32/cjspsc.html

成都网站建设公司_创新互联，为您提供网站营销、网站内链、标签优化、Google、品牌网站制作、品牌网站建设

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联