怎么让CDSW的PySpark自动适配Python版本

今天就跟大家聊聊有关怎么让CDSW的PySpark自动适配Python版本，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。

站在用户的角度思考问题，与客户深入沟通，找到镇雄网站设计与镇雄网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：成都做网站、成都网站制作、成都外贸网站建设、企业官网、英文网站、手机端网站、网站推广、域名与空间、网络空间、企业邮箱。业务覆盖镇雄地区。

在CDH集群中Spark2的Python环境默认为Python2，CDSW在启动Session时可以选择Engine Kernel版本Python2或者Python3。当选择Python3启动Session时，开发PySpark作业在运行时会报“Python in worker has different version 2.7 than that in driver 3.6, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set”，为解决Python版本适配的问题，需要进行如下调整来使我们的应用自动的适配Python版本。

集群部署多个Python版本

基于CDH提供的Anaconda Parcels包来安装Python，通过在CDH集群同时安装两个Python版本的Parcel包来解决多个版本的问题。如果需要在Spark中默认的支持Python2或者Python3版本则激活相应版本的Parcel即可，在我的集群默认激活的为Python2版本的Parcel包，在接下来的操作主要介绍Python3的环境准备。

怎么让CDSW的PySpark自动适配Python版本

Spark2默认使用的Python2环境变量

怎么让CDSW的PySpark自动适配Python版本

1.Python2版本的Anaconda下载地址如下：

https://repo.anaconda.com/pkgs/misc/parcels/Anaconda-2019.07-el7.parcel
https://repo.anaconda.com/pkgs/misc/parcels/Anaconda-2019.07-el7.parcel.sha
https://repo.anaconda.com/pkgs/misc/parcels/manifest.json

2.Python3版本的Anaconda下载地址如下：

https://repo.anaconda.com/pkgs/misc/parcels/archive/Anaconda-5.1.0.1-el7.parcel
https://repo.anaconda.com/pkgs/misc/parcels/archive/Anaconda-5.1.0.1-el7.parcel.sha
https://repo.anaconda.com/pkgs/misc/parcels/archive/manifest.json

3.将下载好的parcel包部署到集群的私有HTTP服务上

怎么让CDSW的PySpark自动适配Python版本

4.使用管理员账号登录Cloudera Manager进入Parcel包管理界面配置Anaconda地址

怎么让CDSW的PySpark自动适配Python版本

5.完成Parcel地址配置后完成对应版本Parcel包的下载分配即可

怎么让CDSW的PySpark自动适配Python版本

上述操作不需要激活，在不激活的情况下PySpark默认使用的Python2环境，如果激活则使用的是Python3环境。

6.确认集群所有节点已存在Python2和Python3的环境

怎么让CDSW的PySpark自动适配Python版本

CDSW自动为Spark适配Python版本

为了能让我们的Pyspark程序代码自动适配到不同版本的Python，需要在我们的Spark代码初始化之前进行环境的初始化，在代码运行前增加如下代码实现适配不同版本的Python。

import os
py_environ=os.environ['CONDA_DEFAULT_ENV']
if py_environ=='python2.7':
  os.environ['PYSPARK_PYTHON'] = '/opt/cloudera/parcels/Anaconda/bin/python'
else:
  os.environ['PYSPARK_PYTHON'] = '/opt/cloudera/parcels/Anaconda-5.1.0.1/bin/python'

怎么让CDSW的PySpark自动适配Python版本