hiveのローカルインストール配置、メタデータmysqlに格納
2431 ワード
Hiveを使用するにはhadoopクラスタのサポートが必要で、ローカルを使用してmysqlにメタデータを格納します.
mysqlはリモート接続できます.
userテーブルを設定してlocalhostを%に変更し、すべて接続できます.rootの他のユーザーを削除することを忘れないでください.そうしないと影響がある可能性があります.
update user set host='%' where host='localhost';
Hiveのインストールの配置:
1、tarファイルを解凍する
2、ファイルの修正:
conf/次のファイルを変更します.
cp hive-env.sh.tempalte hive-env.sh
hive-envを設定します.shファイル:
1、HIVE_を配置するHOMEパス
2、HIVE_を配置するCONF_DIRパス
hdfsでの新規作成
/user/hive/warehouse
/tmpはフォルダを接続し、同じグループの書き込み可能な権限を変更します.
hdfs dfs -chmod g+w/tmp
hdfs dfs -chmod g+w /user/hive/warehouse
メタデータをmysqlに設定するには、次の手順に従います.
mysqlのドライバjarパッケージが必要です
cp mysql-connector-java-5.1.27-bin.jar/hive/lib
hive/confディレクトリにhive-siteを作成します.xmlファイル、赤い部分を変更:
javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore
javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore
javax.jdo.option.ConnectionUserName root username to use against metastore database javax.jdo.option.ConnectionPassword root password to use against metastore database hive.cli.print.current.db true Whether to include the current database in the Hive prompt. hive.cli.print.header false Whether to print the names of the columns in query output.
-------------------------------------
デフォルトのデータ・ウェアハウスの場所を変更するには、次の手順に従います.
hiveのデフォルトのデータウェアハウスの場所は、/user/hive/warehouseパスの下にあり、ウェアハウスディレクトリの下にデフォルトのデータベースdefaultにフォルダが作成されていません.テーブルがdefaultデータベースに属している場合は、データ・ウェアハウス・ディレクトリの下に直接フォルダを作成します.
プロファイルの変更場所を変更できます:次の赤い部分で、パスを変更する権限が同じグループで書き込み可能であることを覚えておいてください.プロファイルhive-site.xml
ヘッダー表示、データ表示の設定:プロファイルhive-site.xml
hive.cli.print.header true
hive.cli.print.current.db true
Hive実行ログ構成:
Hiveのlogはデフォルトで/tmp/hadoop/hiveに格納されます.logディレクトリの下(現在のユーザー名の下)
hiveのlog保存ログを/opt/module/hive/logsに変更
修正/opt/module/hive/conf/hive-log 4 j.properties.templateファイル名はhive-log 4 j.properties
hive-log 4 j.propertiesファイルでlogの保存場所を変更する
hive.log.dir=/opt/module/hive/logs
mysqlはリモート接続できます.
userテーブルを設定してlocalhostを%に変更し、すべて接続できます.rootの他のユーザーを削除することを忘れないでください.そうしないと影響がある可能性があります.
update user set host='%' where host='localhost';
Hiveのインストールの配置:
1、tarファイルを解凍する
2、ファイルの修正:
conf/次のファイルを変更します.
cp hive-env.sh.tempalte hive-env.sh
hive-envを設定します.shファイル:
1、HIVE_を配置するHOMEパス
2、HIVE_を配置するCONF_DIRパス
hdfsでの新規作成
/user/hive/warehouse
/tmpはフォルダを接続し、同じグループの書き込み可能な権限を変更します.
hdfs dfs -chmod g+w/tmp
hdfs dfs -chmod g+w /user/hive/warehouse
メタデータをmysqlに設定するには、次の手順に従います.
mysqlのドライバjarパッケージが必要です
cp mysql-connector-java-5.1.27-bin.jar/hive/lib
hive/confディレクトリにhive-siteを作成します.xmlファイル、赤い部分を変更:
javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore
javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore
javax.jdo.option.ConnectionUserName root username to use against metastore database javax.jdo.option.ConnectionPassword root password to use against metastore database hive.cli.print.current.db true Whether to include the current database in the Hive prompt. hive.cli.print.header false Whether to print the names of the columns in query output.
-------------------------------------
デフォルトのデータ・ウェアハウスの場所を変更するには、次の手順に従います.
hiveのデフォルトのデータウェアハウスの場所は、/user/hive/warehouseパスの下にあり、ウェアハウスディレクトリの下にデフォルトのデータベースdefaultにフォルダが作成されていません.テーブルがdefaultデータベースに属している場合は、データ・ウェアハウス・ディレクトリの下に直接フォルダを作成します.
プロファイルの変更場所を変更できます:次の赤い部分で、パスを変更する権限が同じグループで書き込み可能であることを覚えておいてください.プロファイルhive-site.xml
hive.metastore.warehouse.dir
/user/hive/warehouse
location of default database for the warehouse
ヘッダー表示、データ表示の設定:プロファイルhive-site.xml
hive.cli.print.header true
hive.cli.print.current.db true
Hive実行ログ構成:
Hiveのlogはデフォルトで/tmp/hadoop/hiveに格納されます.logディレクトリの下(現在のユーザー名の下)
hiveのlog保存ログを/opt/module/hive/logsに変更
修正/opt/module/hive/conf/hive-log 4 j.properties.templateファイル名はhive-log 4 j.properties
hive-log 4 j.propertiesファイルでlogの保存場所を変更する
hive.log.dir=/opt/module/hive/logs