spark on hive(sparkはhiveメタデータを使用)
667 ワード
Pythonを例に挙げます.
例外処理:
#hive実行ログを表示して複数バージョンが表示された場合、次のログVersion information not found in metastore.hive.metastore.schema.verification is not enabled so recording the schema versionがあります.これは、metastoreにバージョン情報が見つかりません.hive.metastore.schema.verificationが無効になっていないため、バージョン情報を記録します.つまり、バージョンテーブルにレコード解決方法を挿入します.
バージョン検証をfalseに変更:プロファイルの変更は永続的に有効です.
hive.metastore.schema.verification.record.version false
spark = SparkSession.builder.config("hive.metastore.uris","thrift://10.1.1.18:9083").appName("tSalesItem").enableHiveSupport().getOrCreate()
spark.sql("show databases").show()例外処理:
#hive実行ログを表示して複数バージョンが表示された場合、次のログVersion information not found in metastore.hive.metastore.schema.verification is not enabled so recording the schema versionがあります.これは、metastoreにバージョン情報が見つかりません.hive.metastore.schema.verificationが無効になっていないため、バージョン情報を記録します.つまり、バージョンテーブルにレコード解決方法を挿入します.
バージョン検証をfalseに変更:プロファイルの変更は永続的に有効です.
hive.metastore.schema.verification.record.version false