SparkStreaming中RateController是什么

本篇内容主要讲解“Spark Streaming中RateController是什么”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Spark Streaming中RateController是什么”吧!

10多年的丽水网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。成都全网营销的优势是能够根据用户设备显示端的尺寸不同，自动调整丽水建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。成都创新互联公司从事“丽水网站设计”,“丽水网站推广”以来，每个客户项目都认真落实执行。

Spark Streaming中采用的模型如下，基本思想是按照100ms的批次发送数据给Controller，刚开始Controller直接转给JobGenerator，JobGenerator在生成Job，交给JobProcessor来处理，JobProcessor将job统计信息发送给Controller，Controller接收到统计信息，会动态改变Batch Size来给Job发送数据。

RateController的子类有ReceiverRateController、DirectKafkaRateController。

ReceiverRateController会向receiverTracker发送UpdateReceiverRateLimit消息。

ReceiverTracker接收到UpdateReceiverRateLimit消息后，向ReceiverSupervisorImpl转发UpdateRateLimit消息。

ReceiverSupervisorImpl接收到UpdateRateLimit消息后，调用BlockGenerator的updateRate方法，来控制数据的接收速度。

BlockGenerator继承自RateLimiter。

到此，相信大家对“Spark Streaming中RateController是什么”有了更深的了解，不妨来实际操作一番吧！这里是箭头云网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！

分享标题：SparkStreaming中RateController是什么
链接分享：https://www.cdcxhl.com/article40/cpjoeo.html

成都网站建设公司_创新互联，为您提供软件开发、Google、品牌网站制作、动态网站、面包屑导航、企业网站制作

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联