pyspark创建空的DataFrame-创新互联

目录

• 前言
• 正文
• • 创建没有schema的DataFrame
  • 创建有schema的DataFrame
  • • 直接创建空的DataFrame
    • • 法1：直接传递 [ ]
    • 通过空RDD创建空DataFrame
    • • 法2：通过spark.createDataFrame(rdd)函数
      • 法3：通过rdd.toDF函数
• 总结

广州ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为创新互联公司的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：028-86922220（备注：SSL证书合作）期待与您的合作！前言

做大数据分析时，经常会使用到空的DataFrame，直接给spark.createDataFrame传递空的Pandas DataFrame会报错：

spark.createDataFrame(data=pd.DataFrame(data=None,columns=['pageid','uid']))
# 报错：
ValueError: can not infer schema from empty dataset

因此总结了几种可以成功创建空的spark DataFrame的方法。

参考：None

正文 创建没有schema的DataFrame

df_empty = spark.createDataFrame([], StructType([]))
df_empty.printSchema()
"""
输出:
root
"""

创建有schema的DataFrame

创建schema:

from pyspark.sql.types import StructType,StructField, StringType
schema = StructType([
  StructField('pageid', StringType(), True),
  StructField('uid', StringType(), True)
  ])

# 查看schema  
print(schema.simpleString())
"""
输出:
struct"""

直接创建空的DataFrame 法1：直接传递 [ ]

df_empty1 = spark.createDataFrame([], schema)
df_empty1.printSchema()
"""
输出:
root
 |-- pageid: string (nullable = true)
 |-- uid: string (nullable = true)

"""

通过空RDD创建空DataFrame

可以通过两种方式创建空的rdd:

rdd1 = spark.sparkContext.emptyRDD()
rdd2 = spark.sparkContext.parallelize([])

法2：通过spark.createDataFrame(rdd)函数

df_empty2 = spark.createDataFrame(rdd1,schema)
df_empty2.printSchema()
"""
输出:
root
 |-- pageid: string (nullable = true)
 |-- uid: string (nullable = true)
"""

法3：通过rdd.toDF函数

df_empty3 = rdd1.toDF(schema)
df_empty3.printSchema()
"""
输出:
root
 |-- pageid: string (nullable = true)
 |-- uid: string (nullable = true)
"""

总结

推荐使用通过“法1”，流程简单：

from pyspark.sql.types import StructType, StructField, StringType
schema = StructType([
  StructField('pageid', StringType(), True),
  StructField('uid', StringType(), True)
  ])
df_empty1 = spark.createDataFrame([], schema)

完。

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧

名称栏目：pyspark创建空的DataFrame-创新互联
链接分享：https://www.cdcxhl.com/article20/csocco.html

成都网站建设公司_创新互联，为您提供虚拟主机、App开发、定制网站、网站收录、移动网站建设、品牌网站建设

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联