[PySpark]Pandas Data FrameをSpark Data Frame(Spark.createData Frame)に変換する
Pandas Data FrameをSpark Data Frameに変換
import pandas as pd
## Create Pandas Frame
pd_df = df = pd.DataFrame({'id': ['a', 'b', 'c', 'd'],
'col_1': [1, 2, 3, 4],
'col_2': [1, 1, 2, 2]},
columns = ['id', 'col_1', 'col_2'])
## Convert into Spark DataFrame
spark_df = spark.createDataFrame(pd_df)
## Write Frame out as Table
spark_df.write.mode("overwrite").saveAsTable("db.table_name")Reference
この問題について([PySpark]Pandas Data FrameをSpark Data Frame(Spark.createData Frame)に変換する), 我々は、より多くの情報をここで見つけました https://velog.io/@2innnnn0/pyspark-Pandas-DataFrame을-Spark-DataFrame으로-변환spark.createDataFrameテキストは自由に共有またはコピーできます。ただし、このドキュメントのURLは参考URLとして残しておいてください。
Collection and Share based on the CC Protocol