在 Flink 集群部署 Alink,需要部署三个 Jar 包(本文会有一个部分专门讲述如何获取),对于不同 Flink 集群环境,方式有些区别,本文主要讨论 Standalone 集群和 Kubernetes 集群。
创新互联专注为客户提供全方位的互联网综合服务,包含不限于网站制作、网站建设、南皮网络推广、小程序开发、南皮网络营销、南皮企业策划、南皮品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们大的嘉奖;创新互联为所有大学生创业者提供南皮建站搭建服务,24小时服务热线:18980820575,官方网址:www.cdcxhl.com由于 Alink 可以通过 Java 和 Python 两种方式提交,建议在集群部署的时候将相关 Jar 包一起部署上去。Alink 虽然没有单独提供集群部署 Jar 包的下载,但是所需 Jar 包与 PyAlink 所用的相同。所以可以从 PyAlink 的安装 whl 包中获取。具体方式如下:
1.下载 PyAlink 1.10 的 whl 包,相关链接:
https://github.com/alibaba/Alink/releases/tag/v1.1.0
2.解压 PyAlink 1.10 的 whl 包
解压后的文件结构如下图所示,在 pyalink/lib 下为集群部署所需的三个 jar 包。
将前面获取的三个 Jar 包拷贝到 Flink 目录下,再启动 Flink 集群即可。
更多内容可以参考:
https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/cluster_setup.html
将前面获取的三个 Jar 包放置进 Docker 镜像中,并将以下三个命令添加进 DockerFile,打包镜像即可。
ADD alink_connector_all-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_connector_all-1.1-SNAPSHOT.jarADD alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jarADD alink_python-1.1-SNAPSHOT-shaded.jar $FLINK_LIB_DIR/ alink_python-1.1-SNAPSHOT-shaded.jar
使用 Flink 官方提供的部署方式,其中增加 classloader.resolve-order: parent-first 配置项。参考:
https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/kubernetes.html
创新互联面向全国提供域名注册、虚拟主机、云服务器、服务器托管与租用,如需了解,请联系QQ:171356849微信:zh18159893430 咨询,谢谢!
本文标题:文本教你如何在Flink集群部署Alink
当前地址:https://www.cdcxhl.com/article44/djjhe.html
成都网站建设公司_创新互联,为您提供手机网站建设、微信小程序、App设计、品牌网站建设、定制开发、微信公众号
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联