2018即将推出的ApacheSpark2.4都有哪些新功能-创新互联

本文来自于2018年09月19日在 Adobe Systems Inc 举行的Apache Spark Meetup。

创新互联公司主营始兴网站建设的网络公司,主营网站建设方案,app软件开发,始兴h5微信小程序搭建,始兴网站营销推广欢迎始兴等地区企业咨询

即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述。

  • 新的调度模型（Barrier Scheduling），使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中，以简化分布式训练工作流程。
  • 添加了35个高阶函数，用于在 Spark SQL 中操作数组/map。
  • 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。
  • PySpark 还为教学和可调试性的所有操作引入了热切的评估模式（eager evaluation mode）。
  • Spark on K8S 支持 PySpark 和 R ，支持客户端模式（client-mode）。
  • Structured Streaming 的各种增强功能。 例如，连续处理（continuous processing）中的有状态操作符。
  • 内置数据源的各种性能改进。 例如，Parquet 嵌套模式修剪（schema pruning）。
  • 支持 Scala 2.12。

点击 示说网 ，即可下载此PPT。

总结

网站标题：2018即将推出的ApacheSpark2.4都有哪些新功能-创新互联
网站网址：https://www.cdcxhl.com/article46/cohehg.html

成都网站建设公司_创新互联，为您提供关键词优化、网站策划、网站设计、做网站、自适应网站、品牌网站制作

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

h5响应式网站建设

云服务器知识

同城分类信息