具体情况:将pandas中的DF转化为spark中的DF时报错,报错内容如下:
spark_df = spark.createDataFrame(target_users)
报错->>Can not merge type <class 'pyspark.sql.types.DoubleType'> and <class 'pyspark.sql.types.StringType'>
根本原因:并非数据类型不匹配,而是数据中存在空值,将空值进行填充后成功创建。
具体情况:将pandas中的DF转化为spark中的DF时报错,报错内容如下:
spark_df = spark.createDataFrame(target_users)
报错->>Can not merge type <class 'pyspark.sql.types.DoubleType'> and <class 'pyspark.sql.types.StringType'>
根本原因:并非数据类型不匹配,而是数据中存在空值,将空值进行填充后成功创建。
举报文章
请选择举报类型
补充说明
0/200
上传截图
格式支持JPEG/PNG/JPG,图片不超过1.9M