pyspark接続mysql

まず、次の接続に従って、ローカルmysqlにデータをインポートします.
https://blog.csdn.net/appleyuchi/article/details/79439387
次に、さまざまなファイルを構成した後、sublimeに次のコードを入力して実行します.

from pyspark import SparkContext
from pyspark.sql import SQLContext
import sys

if __name__ == "__main__":
    sc = SparkContext(appName="mysqltest")
    sqlContext = SQLContext(sc)
    df = sqlContext.read.format("jdbc").options(url="jdbc:mysql://localhost:3306/employees?user=root&password=appleyuchi",dbtable="salaries").load()
    df.show()
    sc.stop()

最終結果:
18/07/23 15:11:29 WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
[Stage 0:>                                                          (0 + 1)/1]                                                                                  +------+------+----------+----------+ |emp_no|salary| from_date|   to_date| +------+------+----------+----------+ | 10001| 60117|1986-06-26|1987-06-26| | 10001| 62102|1987-06-26|1988-06-25| | 10001| 66074|1988-06-25|1989-06-25| | 10001| 66596|1989-06-25|1990-06-25| | 10001| 66961|1990-06-25|1991-06-25| | 10001| 71046|1991-06-25|1992-06-24| | 10001| 74333|1992-06-24|1993-06-24| | 10001| 75286|1993-06-24|1994-06-24| | 10001| 75994|1994-06-24|1995-06-24| | 10001| 76884|1995-06-24|1996-06-23| | 10001| 80013|1996-06-23|1997-06-23| | 10001| 81025|1997-06-23|1998-06-23| | 10001| 81097|1998-06-23|1999-06-23| | 10001| 84917|1999-06-23|2000-06-22| | 10001| 85112|2000-06-22|2001-06-22| | 10001| 85097|2001-06-22|2002-06-22| | 10001| 88958|2002-06-22|9999-01-01| | 10002| 65828|1996-08-03|1997-08-03| | 10002| 65909|1997-08-03|1998-08-03| | 10002| 67534|1998-08-03|1999-08-03| +------+------+----------+----------+ only showing top 20 rows
[Finished in 23.6s]