sparkとhiveの結合実践
623 ワード
前述したようにsparkを確立するには、hiveのデータにsparkがアクセスする必要がある.
hiveは0.13版をインストールします.
mysqlデータベースを作成します.
hive/conf/hive-siteを設定します.xml設定メタデータはmysqlに格納されます.
hiveにテーブルを作成します.
データをhadoopに保存する
hiveでselect*from tableName limit 10を使用します.データが見えます.
spark-shellを実行し、次の文を実行します.
プロンプトのエラーは次のとおりです(最後の部分のみ切り取ります).
export SPARK_CLASSPATH=/usr/local/hadoop/share/hadoop/common/lib/hadoop-gpl-compression-0.2.0-dev.jar:/usr/local/spark/lib/mysql-connector-java-5.1.18-bin.jar
hiveは0.13版をインストールします.
mysqlデータベースを作成します.
hive/conf/hive-siteを設定します.xml設定メタデータはmysqlに格納されます.
hiveにテーブルを作成します.
データをhadoopに保存する
hiveでselect*from tableName limit 10を使用します.データが見えます.
spark-shellを実行し、次の文を実行します.
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
hiveContext.sql("show databases")プロンプトのエラーは次のとおりです(最後の部分のみ切り取ります).
export SPARK_CLASSPATH=/usr/local/hadoop/share/hadoop/common/lib/hadoop-gpl-compression-0.2.0-dev.jar:/usr/local/spark/lib/mysql-connector-java-5.1.18-bin.jar